Scrapy 学习笔记（一）

## 安装Scrapy 框架

1.安装'scrapy'：通过`pip install scrapy`即可安装。

2.如果在Windows安装，则还需要安装`pypiwin32`，安装方式为`pip install pypiwin32`。

3.如果在Ubuntu安装，则需要安装一些第三方库：`sudo apt-get install python-dev python-pip libxml12-dev libxslt1-dev zliblg-dev libffi-dev libssl-dev`。

##Scrapy框架结构

##创建项目和爬虫

1.创建项目：`scrapy startproject [项目名称]`。

scrapy startproject test

2.创建爬虫：进入到项目所在路径，执行命令：`scrapy genspider [爬虫名称] [网页路径]`。

cd test
scrapy genspider test_spider "www.bilibili.com"

注意，项目名称和爬虫名称不能相同。

##项目目录结构

1.items.py ：用来存放爬虫爬取下来数据的模型。

2.middlewares.py ：用来存放各种中间件的文件。

3.pipelines.py ： 用来将items的模型存储到本地磁盘中。

4.settings.py ：本爬虫的一些配置信息，（例如请求头、多久发一次请求、ip代理池等）

5.scrapy.cfg：项目的配置文件。

6.spiders包：所有爬虫存放的位置。