爬虫框架Scrapy入门与实践-基础命令使用及项目构建详解(2)

基础命令使用

创建项目：

scrapy startproject <projectName>

生成爬虫文件

scrapy genspider <spiderName> <route>

运行爬虫文件-终端输出

scrapy crawl <spiderName>

运行爬虫文件-输入文件

scrapy crawl <spiderName> -o <json文件名>

check检查错误

scrapy check

list返回项目所有spider名称

scrapy list

项目文件分析

1.items的编写
Item对象可以保存爬取到的数据，相当于存储爬取到的数据的容器。

对于爬取到的的数据，需要提取出我们关注的结构化的信息，以便于对数据的管理。

2.pipelines的编写
主要用于接收提取出来的项目(item)，接收后，会对这些item进行处理

常见的处理方式主要有：清洗、验证、导出到外部文件、存储到数据库等。

3.settings的编写
settings文件为爬虫项目的设置文件，主要是爬虫项目的一些设置信息。

例如，启用了pipelines，需要把settings中相关代码的注释取消

主要修改点:(为了反爬)

• 3-1-pipelines

• 3-2-Robots协议

  爬虫协议，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。

注释掉，ROBOTSTXT_OBEY = True

• 3-3-Cookies

  某些网站为了辨别用户身份而储存在用户本地终端（Client Side）上的数据

  去掉注释，COOKIES_ENABLED = False

• 3-4-设置下载延时

取消注释并修改值，DOWNLOAD_DELAY = 3

4-spider的编写
定义爬取的动作及分析某个网页(或者是有些网页)的地方。