Python爬虫从入门到精通:（34）大文件下载_Python涛哥

还记得我们之前爬取的校花网图片吗？

课程地址：爬取校花网中的图片数据

这节课我们利用scrapy的大文件下载，来下载校花网图片

http://www.521609.com/daxuexiaohua/

---

创建工程

我们先来创建一个工程imgPro：创建流程：xxx

1. scrapy startproject imgPro
2. cd imgPro
3. scrapy genspider img www.xxx.com
4. 修改配置文件

解析图片名称和地址很简单，直接分析到了都在<li>标签里。

写代码：

import scrapy

class ImgSpider(scrapy.Spider):
    name = 'img'
    # allowed_domains = ['www.xxx.com']
    start_urls = ['http://www.521609.com/daxuexiaohua/']

    def parse(self, response):
        # 解析图片地址和名称
        li_list = response.xpath('//*[@id="content"]/div[2]/div[2]/ul/li')
        for li in li_list:
            img_name = li.xpath('./a[1]/img/@alt').extract_first()
            img_scr = 'http://www.521609.com' + li.xpath('./a[1]/img/@src').extract_first()

按照思路，下一步可能就是：

yield scrapy.Request(url=img_scr,callback=)

但这是个二进制，我们大文件下载的话，通常不这么写。

我们把图片名称和图片地址都保存在item中：

item = ImgproItem()
item['name'] = img_name
item['src'] = img_src

yield item

---

管道操作

大文件下载需要写在管道里实现，我们看下下面代码：

pipelinse.py

# 该默认管道无法帮助我们请求图片数据，因此我们就不用了
# class ImgproPipeline:
#     def process_item(self, item, spider):
#         return item


# 管道中需要接收item中的图片地址和名称，然后在管道中请求到图片数据对其进行持久化存储

# 提供了数据下载功能
from scrapy.pipelines.images import ImagesPipeline

# 我们需要重写下面三个父类方法
class ImgsPipeline(ImagesPipeline):
    def get_media_requests(self, item, info):
        pass

    def file_path(self, request, response=None, info=None, *, item=None):
        pass

    def item_completed(self, results, item, info):
        pass

那么就来介绍下：

# 管道中需要接收item中的图片地址和名称，然后在管道中请求到图片数据对其进行持久化存储
# 提供了数据下载功能
from scrapy.pipelines.images import ImagesPipeline
import scrapy

# 我们需要重写下面三个父类方法
class ImgsPipeline(ImagesPipeline):
    # 根据图片发起请求
    def get_media_requests(self, item, info):
        yield scrapy.Request(item['src'], meta={'item': item})

    # 返回图片名称即可
    def file_path(self, request, response=None, info=None, *, item=None):
        item = request.meta['item']
        filePath = item['name']

        # 只需返回图片名称，默认路径需要在 settings.py 增加:IMAGES_STORE='./imgLibs'
        return filePath
    # 将item传递给下一个即将执行的管道类
    def item_completed(self, results, item, info):
        return item

• 默认路径需要在settings.py 增加:IMAGES_STORE='./imgLibs'

• 记得更改管道配置名称:

执行工程看下：

这样，图片就都下载出来了！

---

settings.py中的常用配置

- 增加并发：
默认scrapy开启的并发线程为32个，可以适当进行增加。在settings配置文件中修改CONCURRENT_REQUESTS = 100的值为100，并发设置成了为100
- 降低日志级别：
    在运行scrapy时，会有大量日志信息的输出，为了减少CPU的使用率。可以设置log输出信息为INFO或者ERROR即可。在配置文件中编写：LOG_LEVEN = 'INFO'

- 禁止cookie:
    如果不是真的需要cookie，则在scrapy爬取数据时，可以禁止cookie从而减少CPU的使用率，提升爬虫效率。在配置文件中编写：COOKIES_ENABLED = False

- 禁止重试：
    对失败的HTTP进行重新请求（重试）会减慢爬取速度，因此可以禁止重试。在配置文件中编写：RETRY_ENABLED = Flase

- 减少下载超时：
    如果对一个非常慢的链接进行爬取，减少下载超时可以能让卡住的链接快速被放弃，从而提升效率。在配置文件中进行编写：DOWNLOAD_TIMEOUT = 10 超时时间为10s