一、scrapy的使用步骤
1.创建一个scrapy文件:scrapy startproject 文件名
2.进入新建的爬虫文件目录中,创建一个爬虫文件:scrapy genspider spiderName www.xxx.com
3.对setting文件进行配置修改
3.1.注释掉robost协议:ROBOTSTXT_OBEY = True
3.2.显示指定执行的日志信息:LOG_LEVEL = ‘ERROR’
4.执行:scrapy crawl 文件名
5.储存:scrapy crawl 文件名 -o ./qiubai.csv