爬虫 scrapy 翻页和递归之豆瓣top250案例
用scrapy的翻页和递归 获取豆瓣top250,任务:获取排名,电影名称,评分,导演,评价人数,上映时间,简评以及剧情简介等字段,获取每个电影的图片,名字以电影名和排名来命名,保存到新文件夹里这里只介绍爬虫文件和管道文件,访问豆瓣一般要加浏览器头部的scrapy各个模块的作用请查看:https://blog.csdn.net/IT_arookie/article/details/828...
原创
2018-10-10 23:57:53 ·
1750 阅读 ·
3 评论