Scrapy入门必知的操作

一、安装

1、安装scrapy

2、安装库文件(在Windows的情况下安装，其他系统也需要安装第三方库)

二、创建项目 

1、创建工程（scrapy startproject [爬虫名字]）

2、生成特定域名的爬虫（scrapy genspider [爬虫名字]   【域名】）

3、运行项目 （scrapy crawl [爬虫名]）

注：（1）这里的爬虫名，跟自己定义爬虫类的属性名相一致

（2）crawl命令参数只能在项目中使用scrapy命令

三、项目结构

item.py：存放爬虫爬取数据模型

middlewars.py:存放中间件文件

pipelines.py：将items的模型存储到本地磁盘

settings.py：本爬虫的一些配置信息

scrapy.cfg:项目的配置文件

spiders包：以后所有爬虫存放在此

四、模拟人登录

配置随机user-agent以及基础反爬配置：https://www.cnblogs.com/c-x-a/p/9889623.html

五、CrawkSpider

创建工程不同之处在于，生成爬虫命令（其中wxapp为工程名）

六、scrapy框架的示意图

七、scrapy常用命令