python scrapy学习笔记(一)

这是一个用来记录我学习scrapy的自用笔记

新建项目

命令：

    scrapy startproject articleScrapy  #创建一个新的articleScrapy

    scrapy genspider movie https://www.80s.tw./movie/list/----g #创建爬取的py domain

调试：

    跟目录下新建文件main.py 在里面调用命令行方便调试

    main.py

    

    之后在调试的过程中只需要运行main文件即可（运行过程中windows可能会报错提示缺少win32api，so you need 'pip install -i https://pypi.douban.com/simple pypiwin32'），这时候运行main按道理正常且在movie.py文件中打断点后response会有数据返回；

    警告：

    在settings.py下

 这里默认一般是True要改为False如果设置为True的时候scrapy会默认去读取每个网站上的robots协议，如果不满足的url会过滤掉，爬虫很快就会结束；