scrapy笔记

1.安装scrapy框架
安装scrapy：通过pip install scrapy (如果无法安装，在 http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 下载twisted对应版本的whl文件 ）
还要安装pypiwin32 通过pip install pypiwin32安装

2创建项目和爬虫
（1）创建项目：scrapy startproject [项目名字]
（2）创建爬虫：进入项目所在的路径，scrapy genspider [爬虫的名字] [爬虫的域名] 注意：爬虫名字不能和项目名字一致

3.项目目录结构
1.item.py:用来存放爬虫爬取下来的数据的模型
2.middlewares.py:用来存放各种中间件的文件
3.pipelines.py:用来将items的模型存储到本地磁盘中
4.settings.py：本爬虫的一些配置信息（如请求头，多久发送一次请求，ip代理地址池等）
5.scrapy.cfg:项目的配置文件
6.spiders包：以后所有的爬虫，都是存放在这个里面

转载于:https://www.cnblogs.com/zhouchao123/p/9674561.html