这是一个用来记录我学习scrapy的自用笔记
新建项目
命令:
scrapy startproject articleScrapy #创建一个新的articleScrapy
scrapy genspider movie https://www.80s.tw./movie/list/----g #创建爬取的py domain
调试:
跟目录下新建文件main.py 在里面调用命令行方便调试
main.py
之后在调试的过程中只需要运行main文件即可(运行过程中windows可能会报错提示缺少win32api,so you need 'pip install -i https://pypi.douban.com/simple pypiwin32'),这时候运行main按道理正常且在movie.py文件中打断点后response会有数据返回;
警告:
在settings.py下
这里默认一般是True要改为False如果设置为True的时候scrapy会默认去读取每个网站上的robots协议,如果不满足的url会过滤掉,爬虫很快就会结束;