Java爬虫
Tom likes Jerry
这个作者很懒,什么都没留下…
展开
-
Java爬虫 爬取bing必应每日一图背景图下载到本地(HttpClient+Jsoup+Jackson)
bing每日一图适合作桌面背景,也经常作为我们网站某个页面的背景,效果非常好,下面我们来介绍Java如何爬取。这次爬取介绍两个方法方法一,爬取目标网页,通过网页元素得到图片路径方法二,爬取图片url地址的接口,通过返回的json数据爬取图片方法一:分析: 首先我们打开bing首页 https://www.bing.com/?mkt=zh-CN,按照正常的思路,我们右键检查,在页面上寻找目标图片,然后我们可以找到一个看起来很像背景图的:我们复制出来/th?id=OHR.MatiSiTem原创 2020-10-20 09:29:04 · 1029 阅读 · 1 评论 -
Java爬虫入门案例,Java爬虫爬取豆瓣图书教程并存储到数据库中(HttpClient+Jsoup+Jackson+Mybatis)
Java简单爬虫入门案例所需知识: HttpClient + Jsoup, HttpClient用于模拟发起请求,Jsoup用于解析,虽然Jsoup可以发起请求,但HttpClient拥有线程池等,可以自定义配置,因此我们一般采用HttpClient发起请求,Jsoup仅用于解析html页面。业务需求简单爬取到豆瓣图书的选影视模块前100本,并将图书的基本信息爬取下来存储中数据库中(mysql)https://movie.douban.com/tag/#/ 目标网址思路分析打开这个网址我们原创 2020-10-10 12:48:50 · 1565 阅读 · 0 评论