Python Scrapy框架

1.scrapy常用命令

1. startproject :创建一个新的项目
2. genspider:根据模板生成一个新的爬虫
3. crawl:执行爬虫
4. shell:启动交互式抓取控制台

2.scrapy 生成的文件结构

1. items.py:文件定义了待抓取域的模型
2. settings.py:定义了一些设置，如用户代理和爬取延时等
3. spiders/：目录存储实际的爬虫代码

3.创建步骤

定义模型

Item是一个模板，

创建爬虫

通过genspider命令，传入爬虫名,域名,以及可选的模板参数，就可以生成初始模板了

优化设置