爬虫 scrapy 翻页和递归之豆瓣top250案例
用scrapy的翻页和递归 获取豆瓣top250,
任务:获取排名,电影名称,评分,导演,评价人数,上映时间,简评以及剧情简介等字段,获取每个电影的图片,名字以电影名和排名来命名,保存到新文件夹里
这里只介绍爬虫文件和管道文件,
访问豆瓣一般要加浏览器头部的
scrapy各个模块的作用请查看:
https://blog.csdn.net/IT_arookie/article/details/828...
原创
2018-10-10 23:57:53 ·
1845 阅读 ·
3 评论