![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
文章平均质量分 79
tanwenfang
学无止境。
展开
-
使用Jsoup模拟登录网站并精确抓取数据
一,Jsoup是什么?有什么用?jsoup 是一款Java 的HTML解析器,可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API,可通过DOM,CSS以及类似于jQuery的操作方法来取出和操作数据。中文版的参考文档是:http://www.open-open.com/jsoup/二,使用Jsoup模拟登录GitHub因为最近接到需求,在完全不动原系统的代码的情况下(...原创 2019-02-15 18:34:03 · 6627 阅读 · 2 评论 -
如何传递Request PayLoad(请求负载)中的数据?
在做爬虫的时候,在分析请求的过程,遇到参数长这样的:原理不太清楚,等搞明白再来补充。这里只记录如何应用这些数据。用法:根据上面的图片,由于是post请求,参数一般是以key-value的json字符串传递,或者将参数放入map传递。我们可以看到很多name,这个name就是key,下面的数据就是value,我们可以提取所有的key及value,组成一个json字符串或者map传递即可。比...原创 2019-02-18 15:55:23 · 23181 阅读 · 1 评论 -
爬虫如何对URL去重
URL去重:就是爬虫将重复抓取的url去除,避免多次抓取同一个网页,因为重复抓取不仅会浪费CPU,还会为搜索引擎系统增加负荷。爬虫一般会将待抓取的url放在一个队列中,从抓取后的网页中提取到新的url,在它们被放入队列之前,首先要确定这些新的url有没有被抓取过,如果之前已经抓取过了,就不再放入队列。去重的方法有如下几种:hash表:采用内存中的HashSet,是最直观的方法。HashSe...原创 2019-09-07 16:39:23 · 832 阅读 · 0 评论