[day4]python网络爬虫实战：爬取美女写真图片(Scrapy版)

l> 我的新书《Android App开发入门与实战》已于2020年8月由人民邮电出版社出版，欢迎购买。点击进入详情

前两篇文章我们介绍了通过传统的方式获取美女图片的方式：
[day1]python网络爬虫实战：爬取美女写真图片
[day2]python网络爬虫实战：爬取美女写真图片(增强版)

这次我们介绍一种新的获取图片或文件的方式：Scrapy。

1.开发环境

1. IDE: PyCharm 2021.2.1 (Professional Edition)
2. Python: 3.9.7

2.第三方库

1. scrapy：网络请求
2. lxml.etree：分析HTML特征，获取图片地址

3.Scrapy简介

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。

其最初是为了 页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。

4.Scrapy用法

1.安装

在pycharm中我们手动安装scrapy：

2.新建工程

我们可以在任意一个目录下创建工程。

1. 新建工程

scrapy startproject meinv

提示：

You can start your first spider with:
    cd meinv
    scrapy genspider example example.com

2. 生成模板工程
   输入上述命令后，系统帮我们自动生成了一个scrapy项目的模板：
   

3.运行工程

terminal中输入：

scrapy crawl meinv

如果每次这么输入嫌麻烦，可以新建一个py文件，内容如下：

from scrapy import cmdline
cmdline.execute("scrapy crawl meinv".split())

4.meinv.py

每个项目的spider文件夹下有个主py文件，里面有个函数：

def parse(self, response):

response就是已经解析好的URL的网页源码，然后通过xpath分析网页的内容，获取图片列表。

5.items.py

自定义字段，用来存储一些信息。比如我们定义了一个image_url用来存储图片地址：

image_url = scrapy.Field()

6.piplines.py

piplines用来清洗数据之用。一般需要自定义一个pipline。
有几个函数是系统自带的，每个函数有各自的用法：

1. file_path：用来定义保存的图片名

def file_path(self, request, response=None, info=None):

2. get_media_requests：访问图片URL
   通过yield scrapy.Request可以下载图片：

def get_media_requests(self, item, info):

3. item_completed：图片下载结果

def item_completed(self, results, item, info):

7.settings.py

配置自定义的pipline和图片下载路径：

ITEM_PIPELINES = {
    'meinv.pipelines.MeinvPipeline': 300,
}
# 设置图片下载路径
IMAGES_STORE = 'C:\\meinv'

5.效果

6.Github源码

[day4]python网络爬虫实战：爬取美女写真图片(Scrapy版)

欢迎关注我的技术公众号：国民程序员，我们的目标：输出干货

1. 每天分享原创技术文章
2. 海量免费技术资料和视频学习资源
3. 分享赚钱门道，带领程序员走向财务自由