scrapy框架初识笔记

首先我们下载并安装Scrapy
pip install scrapy #配置框架
接着我们就创建第一项目
scrapy startproject spider_project_name  #当前路径下创建一个爬虫项目

接着我们进入这个项目并创建一个具体的爬虫
cd spider_project_name #进入对应爬虫项目的文件夹
scrapy genspider spider_name yuming #在该爬虫项目里建立一个爬虫，此时已经定义了爬虫的名字和其爬取的网址初步范围了，不过这些都可以改

打开pycharm，打开我们对应的爬虫项目

我们可以看到项目里面已经生成了一些模板文件，其中很多我们都不需要进行调整。具体的样式如下所示：

我们主要去修改的有：

1. 具体的爬虫，在spiders文件夹下面的除了__init__.py文件以外的爬虫；在爬虫里面我们将写我们怎么去爬取我们想要的数据和URL；
2. pipelines.py，这个文件是负责对爬虫返回的数据对象进行处理的，比如你可以在这里对数据进行清洗，加工，保存
3. settings.py负责配置，比如里面的
   'ITEM_PIPELINES = { 'myfirstspider.pipelines.MyfirstspiderPipeline': 300, }'
   取消这项注释就说明启用了我们piplines.py对数据的处理，当然我们可以启动多个，300就是启动的顺序（越小启动的越早），记住前面的process_item方法必须有返回项也就是return 否则后面的process_item都会没有对应的输入，pipline里面是一个串行的过程。

最后再说一点就是爬虫类下面的parse方法的名字和process_item的名字是不能修改的，否则他会报出这两个方法没有完成的错误，因为Scrapy框架约定俗成的回去找这两方法去执行

py框架约定俗成的回去找这两方法去执行 ####

这是我第一次用markdown做笔记，也是刚接触爬虫和Scrapy有什么说错的欢迎指正！！！！