使用Java爬取豆瓣电影的名称和评分练习~~

使用Java爬取豆瓣电影的名称和评分练习~~

首先，确认我们要爬取的网站地址 https://movie.douban.com/explore#!type=movie&tag=%E7%83%AD%E9%97%A8&sort=time&page_limit=20&page_start=0

进入到网站之后使用F12检查发现我们所要爬取的数据（电影名以及评分）放在了XHR文件里面

我们点击这个文件就可以拿到我们所要爬取的数据的地址了：https://movie.douban.com/j/search_subjects?type=movie&tag=%E7%83%AD%E9%97%A8&sort=time&page_limit=20&page_start=0

接下来爬取：

爬取完之后发现是json格式的数据{“subjects”:[{“rate”:“7.3”,“cover_x”:675,“title”:“真人快打传奇：蝎子的复仇”,“url”:“https://movie.douban.com/subject/34875588/”,“playable”:false,“cover”:“https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2589037112.jpg”,“id”:“34875588”,“cover_y”:1000,“is_new”:true}

我们得转成我们想要的格式才能存取到数据库或者其他地方（这里要用到json工具类包）
这样就能拿到我们想要的数据并且存储到数据库了 看看效果：