使用Java爬取豆瓣电影的名称和评分练习~~
首先,确认我们要爬取的网站地址 https://movie.douban.com/explore#!type=movie&tag=%E7%83%AD%E9%97%A8&sort=time&page_limit=20&page_start=0
进入到网站之后使用F12检查发现我们所要爬取的数据(电影名以及评分)放在了XHR文件里面
我们点击这个文件就可以拿到我们所要爬取的数据的地址了:https://movie.douban.com/j/search_subjects?type=movie&tag=%E7%83%AD%E9%97%A8&sort=time&page_limit=20&page_start=0
接下来爬取:
爬取完之后发现是json格式的数据{“subjects”:[{“rate”:“7.3”,“cover_x”:675,“title”:“真人快打传奇:蝎子的复仇”,“url”:“https://movie.douban.com/subject/34875588/”,“playable”:false,“cover”:“https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2589037112.jpg”,“id”:“34875588”,“cover_y”:1000,“is_new”:true}
我们得转成我们想要的格式才能存取到数据库或者其他地方(这里要用到json工具类包)
这样就能拿到我们想要的数据并且存储到数据库了 看看效果: