![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
java爬虫
文章平均质量分 68
海波booy
爱学习、爱生活、爱工作
展开
-
webmagic百度指数查询
需求:本地一批关键词,需要查询百度指数,5118一次只能查100条,5W不得手软,看接口0.013元1条,网上找了百度指数接口,都不怎么便宜,那就自己动手了,用webmagic也是很方便快捷的。1、配置webmagic两个包、打包成jar可以挂在服务器慢慢运行。 <dependencies> <!-- webmagic核心包 --> <dependency> <groupId>us.codec原创 2021-06-27 18:32:27 · 384 阅读 · 0 评论 -
java网络爬虫基础httpclient及jsoup
一、网络爬虫概述网络爬虫:是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。应用场景:1、实现搜索引擎当我们经常查询某类数据,可能会在几个或多个不同的渠道来回检索,此时我们便可以通过抓取定向数据进行处理,存储到个人存储库中,比如用到ES,再从ES中进行全文检索就更方便地获取精准数据了。2、大数据分析当我们需要在某一方面做决策时,可能会需要到大数据做支撑,毕竟在互联网时代,以技术为基础,以数据为驱动,比如当下火爆的自媒体运营,需要分析文章的数据,自己的文章数据分析可以看到,但我还想看竞争对原创 2021-06-27 17:53:30 · 339 阅读 · 0 评论