python爬虫：Scrapy框架爬取

学习Scrapy框架，研究了好久也只是初步阶段，碰到了不少的困难，写个小例子巩固一下。

Scrapy架构图(绿线是数据流向)

Scrapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。
Scheduler(调度器): 它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。
Downloader(下载器): 负责下载Scrapy Engine(引擎)发送的所有Requests请求，并将其获取到的Responses交还给Scrapy Engine(引擎)，由引擎交给Spider来处理。
Spider(爬虫): 它负责处理所有Responses,从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器)。
Item Pipeline(管道)： 它负责处理Spider中获取到的Item，并进行进行后期处理（详细分析、过滤、存储等）的地方。
Downloader Middlewares(下载中间件): 你可以当作是一个可以自定义扩展下载功能的组件。
Spider Middlewares(Spider中间件): 你可以理解为是一个可以自定扩展和操作引擎和Spider中间通信的功能组件（比如进入Spider的Responses;和从Spider出去的Requests）。

制作 Scrapy 爬虫仅需要4步：

1、新建项目 (scrapy startproject xxx)：新建一个新的爬虫项目
2、明确目标 （编写items.py）：明确你想要抓取的目标
3、制作爬虫 （spiders/xxspider.py）：制作爬虫开始爬取网页
4、存储内容 （pipelines.py）：设计管道存储爬取内容

工欲善其事必先利其器，下面啰嗦一些安装Scrapy的方法

安装：win+r->输入cmd->复制粘贴以下内容

Windows 安装方式

#升级 pip 版本：
pip install --upgrade pip
#通过 pip 安装 Scrapy 框架:
pip install Scrapy

若是升级失败，可以参考一下该文章：解决You are using pip version 19.0.3, however version 19.2.3 is available.问题
这地方用了好长时间才解决，痛苦 ?

Ubuntu 安装方式

#安装非 Python 的依赖:
sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev
#通过 pip 安装 Scrapy 框架：
sudo pip install scrapy

Mac OS 安装方式

对于Mac OS系统来说，由于系统本身会引用自带的python2.x的库，因此默认安装的包是不能被删除的，但是你用python2.x来安装Scrapy会报错，用python3.x来安装也是报错，我最终没有找到直接安装Scrapy的方法，所以我用另一种安装方式来说一下安装步骤，解决的方式是就是使用virtualenv来安装。

$ sudo pip install virtualenv
$ virtualenv scrapyenv
$ cd scrapyenv
$ source bin/activate
$ pip install Scrapy

想要在别的盘安装，可以这样输入

输入dir可以查看硬盘中的文件，重复上面操作就可以保存在项目文件下。
安装后，在命令终端输入 scrapy，提示类似以下结果，代表已经安装成功

准备阶段完毕，接下来进入正题阶段

一、新建项目(scrapy startproject)

在开始爬取之前，必须创建一个新的Scrapy项目。进入自定义的项目目录中，运行下列命令：
scrapy startproject mySpider
mySpider 为项目名称，相当于建立了一个mySpider的文件夹，目录结构大致如下：

mySpider/
    scrapy.cfg  #项目的配置文件。
    mySpider/ #项目的Python模块，将会从这里引用代码。
        __init__.py
        items.py #项目的目标文件。
        pipelines.py #项目的管道文件
        settings.py #项目的设置文件
        spiders/#存储爬虫代码目录。
            __init__.py
            ...

二、明确目标(mySpider/items.py)

我们打算抓取 http://www.itcast.cn/channel/teacher.shtml 网站里的所有讲师的姓名、职称和个人信息。
打开 mySpider 目录下的 items.py。（直接在硬盘中用记事本、pycharm等的打开就可以）
接下来，创建一个 ItcastItem 类，和构建 item 模型（model）。

import scrapy

#以下类中的name、title、info是我们准备爬取的信息，对于不同网站可以增加或减少变量
class ItcastItem(scrapy.Item):
   name = scrapy.Field()
   title = scrapy.Field()
   info = scrapy.Field()

三、制作爬虫 （spiders/itcastSpider.py）

爬虫主要分为两步
1、爬数据
在当前目录下输入命令，将在mySpider/spiders目录下创建一个名为itcast的爬虫，并指定爬取域的范围：

scrapy genspider itcast "itcast.cn"

打开 mySpider/spiders目录里的 itcast.py，默认增加了下列代码:

import scrapy
class ItcastSpider(scrapy.Spider):
    name = "itcast" 
    allowed_domains = ["itcast.cn"] 
    start_urls = ( 'http://www.itcast.cn/', ) 
    def parse(self, response):
        pass

其实也可以由我们自行创建itcast.py并编写上面的代码，只不过使用命令可以免去编写固定代码的麻烦
要建立一个Spider， 你必须用scrapy.Spider类创建一个子类，并确定了三个强制的属性和一个方法。
1、name = “” ：这个爬虫的识别名称，必须是唯一的，在不同的爬虫必须定义不同的名字。
2、allow_domains = [] 是搜索的域名范围，也就是爬虫的约束区域，规定爬虫只爬取这个域名下的网页，不存在的URL会被忽略。
3、start_urls = () ：爬取的URL元祖/列表。爬虫从这里开始抓取数据，所以，第一次下载的数据将会从这些urls开始。其他子URL将会从这些起始URL中继承性生成。
4、parse(self, response) ：解析的方法，每个初始URL完成下载后将被调用，调用的时候传入从每一个URL传回的Response对象来作为唯一参数，主要作用如下：
负责解析返回的网页数据(response.body)，提取结构化数据(生成item)
生成需要下一页的URL请求。

进行下面修改：

start_urls = ("http://www.itcast.cn/channel/teacher.shtml",)
def parse(self, response):
    filename = "teacher.html"
    open(filename, 'w').write(response.body) 

然后运行一下看看，在mySpider目录下执行：

scrapy crawl itcast

当传回来的html文件都是空的时，把open函数中的"w"改成"wr"即可解决问题

是的，就是 itcast，看上面代码，它是 ItcastSpider 类的 name 属性，也就是使用 scrapy genspider命令的唯一爬虫名。
运行之后，如果打印的日志出现 [scrapy] INFO: Spider closed (finished)，代表执行完成。 之后当前文件夹中就出现了一个 teacher.html 文件，里面就是我们刚刚要爬取的网页的全部源代码信息。
注意: Python2.x默认编码环境是ASCII，当和取回的数据编码格式不一致时，可能会造成乱码；我们可以指定保存内容的编码格式，一般情况下，我们可以在代码最上方添加

import sys
reload(sys)
sys.setdefaultencoding("utf-8")

这三行代码是 Python2.x 里解决中文编码的万能钥匙，大家使用Python3。

2、取数据
取数据需要一些前端基础，去找标签
爬取整个网页完毕，接下来的就是的取过程了，首先观察页面源码：

<div class="li_txt">
    <h3>  xxx  </h3>
    <h4> xxxxx </h4>
    <p> xxxxxxxx </p>

xpath 方法，我们只需要输入的 xpath 规则就可以定位到相应 html 标签节点，详细内容可以查看 xpath 教程。
不会 xpath 语法没关系，Chrome 给我们提供了一键获取 xpath 地址的方法（右键->检查->copy->copy xpath）
谷歌浏览器现在点击需要的信息右键，检查就可以直接跳转。
这里给出一些 XPath 表达式的例子及对应的含义:

 /html/head/title: 选择HTML文档中 标签内的
 /html/head/title/text(): 选择上面提到的
 //td: 选择所有的 元素
 //div[@class=“mine”]: 选择所有具有 class=“mine” 属性的 div 元素

我们之前在 mySpider/items.py 里定义了一个 ItcastItem 类。 这里引入进来:
这个地方总是引不进去的话可以尝试复制items文件，找到Python的文件夹->Lib->site-packages
拷贝进去

from mySpider.items import ItcastItem

然后将我们得到的数据封装到一个 ItcastItem 对象中，可以保存每个老师的属性：

import scrapy

item文件的类

from mySpider.items import ItcastItem
 
class ItspidSpider(scrapy.Spider):
    # 爬虫名，启动爬虫是需要的参数*必须
    name = 'itcast'
    # 爬取域范围，循序爬虫再这个域名下进行爬取（可选）
    allowed_domains = ['itcast.cn'] 
    # 起始url,爬虫执行后第一批请求，将从这个列表里获取
    start_urls = ['http://www.itcast.cn/channel/teacher.shtml']
 
    def parse(self, response):
        node_list = response.xpath("//div[@class='li_txt']") 
        # 存放老师信息的集合
        items = []
        for node in node_list:
           # 将我们得到的数据封装到一个 `ItcastItem` 对象
        	item = ItcastItem()
        	#extract()方法返回的都是unicode字符串
            name = node.xpath("./h3/text()").extract()
            title = node.xpath("./h4/text()").extract()
            info = node.xpath("./p/text()").extract()
  
            #xpath返回的是包含一个元素的列表
            item['name'] = name[0]
            item['title'] = title[0]
            item['info'] = info[0]

            items.append(item) 
        # 直接返回最后数据
        return items

最后还需要在setting文件里边设置一些东西：（不遵守爬虫协议）

ROBOTSTXT_OBEY = False

四、 保存数据

scrapy保存信息的最简单的方法主要有四种，-o 输出指定格式的文件，命令如下：

json格式，默认为Unicode编码

scrapy crawl itcast -o teachers.json

json lines格式，默认为Unicode编码

scrapy crawl itcast -o teachers.jsonl

csv 逗号表达式，可用Excel打开

scrapy crawl itcast -o teachers.csv

xml格式

scrapy crawl itcast -o teachers.xml

若csv格式乱码，在setting.py文件中加入以下语句即可：

FEED_EXPORT_ENCODING = 'utf-8-sig' 

希望这篇文章对初学框架的有帮助，我也是初学，多多指教，有错的地方请大佬们斧正，谢谢。
相关作者链接：
https://blog.csdn.net/qq_43656233/article/details/97492148
https://segmentfault.com/a/1190000013178839#articleHeader8
https://blog.csdn.net/weixin_40569991/article/details/81296908
https://www.runoob.com/w3cnote/scrapy-detail.html