scrapy爬虫基础

一、安装所需包

1、首先安装scrapy包：pip install scrapy

2、在windows系统下，还需安装pypiwin32这个包：pip install pypiwin32

二、创建项目

1、命令行操作

• 进入指定盘：比如要进入D盘：在命令行输入： d: 或 D: 即可
• 进入指定文件夹：cd+文件名
• 查看指定文件夹下的子文件目录：cd+文件名+dir
• 在某文件下创建文件夹：mkdir+需要创建的文件名称
• 创建scrapy项目：scrapy startproject [项目名称]

2、创建项目和爬虫：（在命令行中的操作）

• 创建项目：‘scrapy startproject[爬虫的名字]’.
• 创建爬虫：进入到项目所在的路径，执行命令：‘scrapy genspider[爬虫名字][爬虫的域名]’.注意，爬虫名字不能和项目名称一致。
• 通过命令行运行爬虫：scrapy crawl [爬虫名字]

3、项目目录结构：

• items.py:用来存放爬虫爬取下来数据的模型
• middlewares.py:用来存放各种中间件的文件
• pipelines.py:用来将items的模型存储到本地磁盘中
• settings.py：本爬虫的一些配置信息（比如请求头，多久发送一次请求，ip代理池等）
• scrapy.cfg:项目的配置文件
• spiders包：以后所有的爬虫，都是存放在这个里面

<