scrapy学习笔记0828-上

1.使用item pipeline处理数据

如果我们在爬取到数据之后想对数据进行一些处理再进行存储的话，我们可以使用pipline，pipeline在pipeline.py中进行定义，例如：

class PriceConverterPipeline(object):
    exchange_rate = 8.5309
    def process_item(self, item, spider):
        price = float(item['price'][1:]) * self.exchange_rate
        item['price'] = '￥%.2f' % price
        return item

 与其他地方不同的是，pipline并不需要继承特定的基类，只需要实现某些特定的方法，例如process_item（必须实现）、open_spider：Spider打开时（处理数据前）回调该方法、close_spider：Spider关闭时（处理数据后）回调该方法，from_crawler：创建Item Pipeline对象时回调该类方法。

Item：爬取到的一项数据（Item或字典）

Spider：爬取此项数据的Spider对象。

第二步：启用itempipeline，光是我们自己写了代码其实还不够，需要我们在scrapy设置中启动它。我们需要在settings.py中配置，如下：

ITEM_PIPELINES = {
 'example.pipelines.PriceConverterPipeline': 300,
 }

 我们把想要启用的Item Pipeline 添加到这个字典中，其中每一项的键是每一个Item Pipeline类的导入 路径，值是一个0～1000的数字，同时启用多个Item Pipeline时， Scrapy根据这些数值决定各Item Pipeline处理数据的先后次序，数值小的在前。最后形成一条数据处理的流水线。

2.更加优雅的提取链接

Scrapy提供了一个专门用于提取链接的类LinkExtractor，在提取 大量链接或提取规则比较复杂时，使用LinkExtractor更加方便。

 from scrapy.linkextractors import LinkExtractor
 le = LinkExtractor(restrict_css='ul.pager li.next')
 links = le.extract_links(response)

 创建一个LinkExtractor对象，使用一个或多个构造器参数描 述提取规则，这里传递给restrict_css参数一个CSS选择器表 达式。它描述出下一页链接所在的区域（在li.next下），调用LinkExtractor对象的extract_links方法传入一个 Response对象，该方法依据创建对象时所描述的提取规则，在 Response对象所包含的页面中提取链接，最终返回一个列表， 其中的每一个元素都是一个Link对象，即提取到的一个链接。

LinkExtractor所包含的各个参数，

allow：接收一个正则表达式或一个正则表达式列表，提取绝对url与 正则表达式匹配的链接，如果该参数为空（默认），就提取全 部链接。

deny：接收一个正则表达式或一个正则表达式列表，与allow相反， 排除绝对url与正则表达式匹配的链接。

allow_domains：接收一个域名或一个域名列表，提取到指定域的链接。

deny_domains：接收一个域名或一个域名列表，与allow_domains相反，排除 到指定域的链接。

restrict_xpaths：接收一个XPath表达式或一个XPath表达式列表，提取XPath表 达式选中区域下的链接。

restrict_css：接收一个CSS选择器或一个CSS选择器列表，提取CSS选择器选 中区域下的链接。

tags：接收一个标签（字符串）或一个标签列表，提取指定标签内的 链接，默认为['a', 'area']。

attrs：接收一个属性（字符串）或一个属性列表，提取指定属性内的 链接，默认为['href']。

process_value：接收一个形如func(value)的回调函数。如果传递了该参数， LinkExtractor将调用该回调函数对提取的每一个链接（如a的 href）进行处理，回调函数正常情况下应返回一个字符串（处 理结果），想要抛弃所处理的链接时，返回None。

3.自定义导出数据的格式

在Scrapy中，负责导出数据的组件被称为Exporter（导出器）， Scrapy内部实现了多个Exporter，每个Exporter实现一种数据格式的导出。

目前支持的数据格式包括：JSON，CSV，XML，Pickle，Marshal

没有excel，也没有txt格式，这些需要我们自己去定义

 scrapy crawl books -o books.csv

-o books.csv指定了导出文件的路径

scrapy crawl books -t csv -o books1.data

 -t参数中的数据格式字符串（如 csv、json、xml）为键，在配置字典FEED_EXPORTERS中搜索 Exporter，如果我们添加了自己定义的格式，可以在settings中定义，

FEED_EXPORTERS = {'excel': 'my_project.my_exporters.ExcelItemExporter'}

 FEED_URI 导出文件路径,　FEED_FORMAT 导出数据格式,　FEED_EXPORT_ENCODING 导出文件编码（默认情况下json文件使用数字编码，其他使用 utf-8编码）,FEED_EXPORT_FIELDS 导出数据包含的字段（默认情况下导出所有字段) 并指定次序。

每一个Exporter都是BaseItemExporter的一个子类， BaseItemExporter定义了一些抽象接口待子类实现export_item(self, item) 负责导出爬取到的每一项数据，参数item为一项爬取到的数 据，每个子类必须实现该方法。 start_exporting(self) 在导出开始时被调用，可在该方法中执行某些初始化工作。finish_exporting(self) 在导出完成时被调用，可在该方法中执行某些清理工作。

我们想要自定义导出数据的格式，只需要完成export_item即可，如下：

from scrapy.exporters import BaseItemExporter
 import xlwt
 class ExcelItemExporter(BaseItemExporter):
 def __init__(self, file, **kwargs):
 self._configure(kwargs)
 self.file = file
 self.wbook = xlwt.Workbook()
 self.wsheet = self.wbook.add_sheet('scrapy')
 self.row = 0
 def finish_exporting(self):
 self.wbook.save(self.file)
 def export_item(self, item):
 fields = self._get_serialized_fields(item)
 for col, v in enumerate(x for _, x in fields):
 self.wsheet.write(self.row, col, v)
 self.row += 1

 这段代码需要我们自己创建一个py文件（与setting.py同级）并写在里面。

之后我们需要在setting.py中开启对它的调用，

FEED_EXPORTERS = {'excel': 'example.my_exporters.ExcelItemExporter'}

 之后，成功运行！

 scrapy crawl books -t excel -o books.xls

4.下载图片与文件

Scrapy框架内部提供了两个Item Pipeline，专门用于下载文件和 图片：FilesPipeline，ImagesPipeline

我们使用时只需要，通过item的一个特殊字段将要下载文件或图片的url传递给它 们，它们会自动将文件或图片下载到本地，并将下载结果信息存入item 的另一个特殊字段，以便用户在导出文件中查阅。

首先在setting.py中启用FilesPipeline

 ITEM_PIPELINES = {'scrapy.pipelines.files.FilesPipeline': 1}

指定文件的下载目录

 FILES_STORE = '/home/liushuo/Download/scrapy'

在Spider解析一个包含文件下载链接的页面时，将所有需要下载文件的url地址收集到一个列表，赋给item的file_urls字 段（item['file_urls']）。FilesPipeline在处理每一项item时， 会读取item['file_urls']，对其中每一个url进行下载。

class DownloadBookSpider(scrapy.Spider):
    def parse(response):
        item = {}
        item['file_urls'] = []
        for url in response.xpath('//a/@href').extract():
            download_url = response.urljoin(url)
            item['file_urls'].append(download_url)
            yield item

 当FilesPipeline下载完item['file_urls']中的所有文件后，会将各文 件的下载结果信息收集到另一个列表，赋给item的files字段 （item['files']）。下载结果信息包括以下内容： Path文件下载到本地的路径（相对于FILES_STORE的相对路 径）。 Checksum文件的校验和。 url文件的url地址。

ImagesPipeline的使用与FilesPipeline大同小异，

# settings.py

ITEM_PIPELINES = {
    'scrapy.pipelines.images.ImagesPipeline': 1,
}

IMAGES_STORE = '/path/to/your/image/directory'

# myproject/spiders/my_spider.py

import scrapy
from myproject.items import MyImageItem

class MySpider(scrapy.Spider):
    name = 'myspider'
    start_urls = ['https://example.com']

    def parse(self, response):
        item = MyImageItem()
        item['image_urls'] = response.css('img::attr(src)').extract()
        yield item

5.爬虫的重头戏---如何破解反扒机制 

 一、模拟登录

登录是向服务器发送含有登录表单 数据的HTTP请求（通常是POST）。Scrapy提供了一个 FormRequest类（Request的子类），专门用于构造含有表单数据的 请求，FormRequest的构造器方法有一个formdata参数，接收字典形 式的表单数据。对于表单之中的隐藏信息，可以先使用爬虫获取，或者是采用form_response的方法让scrapy帮助我们去解析。

import scrapy

class MySpider(scrapy.Spider):
    name = 'myspider'
    start_urls = ['https://example.com']

    def parse(self, response):
        # 获取表单字段值
        formdata = {
            'username': 'myusername',
            'password': 'mypassword',
        }

        # 创建 FormRequest
        yield scrapy.FormRequest(
            url='https://example.com/login',
            formdata=formdata,
            callback=self.parse_after_login
        )

    def parse_after_login(self, response):
        # 处理登录后的逻辑
        # ...

二、识别验证码

 页面中的验证码图片对应一个元素，即一张图片，浏览器加 载完登录页面后，会携带之前访问获取的Cookie信息，继续发送一个 HTTP请求加载验证码图片。和账号密码输入框一样，验证码输入框也 对应一个元素，因此用户输入的验证码会成为表单数据的一部 分，表单提交后由网站服务器程序验证。

第一种破解方法，ocr识别，我们这里采用的是tesseract-ocr，安装包下载地址：Index of /tesseract，只需要下一步即可，之后我们需要在系统环境配置中去添加它的路径，这里暂时不做展开，之后我们需要pip install pillow pytesseract

之后便可以编写代码进行识别了，这种方法识别率并不是百分之一百，有失败的风险。

import cv2
import pytesseract

# 读取图像
original_image = cv2.imread('captcha.png')

# 将图像转换为灰度
grey = cv2.cvtColor(original_image, cv2.COLOR_RGB2GRAY)

# 使用 Pytesseract 识别文本
text = pytesseract.image_to_string(grey)
print("识别结果:", text)

在获取到了识别的结果候我们便可以将其返回给scrapy进行登录操作。

 第二种方法：平台识别，即调用别人已经完成的识别验证码的服务

第三种方法：人工识别，检测到验证码，卡住程序，显示出验证码让人工来输入，输入结果之后继续下一步爬取

三、cookie登录

目前网站的验证 码越来越复杂，某些验证码已经复杂到人类难以识别的程度，有些时候 提交表单登录的路子难以走通。此时，我们可以换一种登录爬取的思 路，在使用浏览器登录网站后，包含用户身份信息的Cookie会被浏览 器保存在本地，如果Scrapy爬虫能直接使用浏览器中的Cookie发送 HTTP请求，就可以绕过提交表单登录的步骤。

获取浏览器的cookie，我们在这里采用的是browsercookie库来获取浏览器存储的cookie（本地），这里获取到的cookie都是我们自己的。

目前scrapy中有一个处理的cookie的中间件名为CookiesMiddleware，它会自动帮助我们处理cookie信息，但没法写入我们自己的cookie，因此我们需要重新写，

import browsercookie
     from scrapy.downloadermiddlewares.cookies import CookiesMiddleware
     class BrowserCookiesMiddleware(CookiesMiddleware):
        def __init__(self, debug=False):
            super().__init__(debug)
            self.load_browser_cookies()
        def load_browser_cookies(self):
            # 加载Chrome 浏览器中的Cookie
            jar = self.jars['chrome']
            chrome_cookiejar = browsercookie.chrome()
            for cookie in chrome_cookiejar:
                jar.set_cookie(cookie)
            # 加载Firefox 浏览器中的Cookie
            jar = self.jars['firefox']
            firefox_cookiejar = browsercookie.firefox()
            for cookie in firefox_cookiejar:
                jar.set_cookie(cookie)