Scrapy + Mysql 爬取豆瓣电影Top250
关于Scrapy框架的使用,不再详细说明。
爬虫的工程文件里面有几个特别重要的py文件:
spider.py 决定如何取爬取什么网页
items.py 决定爬取哪些项目
pipelines.py 决定爬取的内容怎么处理
settings.py 决定由谁去爬取
因此,spider.py文件的代码如下:
import scrapy
from douban_movie.Movie...
原创
2019-06-26 21:57:18 ·
727 阅读 ·
1 评论