l> 我的新书《Android App开发入门与实战》已于2020年8月由人民邮电出版社出版,欢迎购买。点击进入详情
文章目录
前两篇文章我们介绍了通过传统的方式获取美女图片的方式:
[day1]python网络爬虫实战:爬取美女写真图片
[day2]python网络爬虫实战:爬取美女写真图片(增强版)
这次我们介绍一种新的获取图片或文件的方式:Scrapy。
1.开发环境
- IDE: PyCharm 2021.2.1 (Professional Edition)
- Python: 3.9.7
2.第三方库
- scrapy:网络请求
- lxml.etree:分析HTML特征,获取图片地址
3.Scrapy简介
Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。
其最初是为了 页面抓取 (更确切来说, 网络抓取 )所设计的, 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。
4.Scrapy用法
1.安装
在pycharm中我们手动安装scrapy:
2.新建工程
我们可以在任意一个目录下创建工程。
- 新建工程
scrapy startproject meinv
提示:
You can start your first spider with:
cd meinv
scrapy genspider example example.com
- 生成模板工程
输入上述命令后,系统帮我们自动生成了一个scrapy项目的模板:
3.运行工程
terminal中输入:
scrapy crawl meinv
如果每次这么输入嫌麻烦,可以新建一个py文件,内容如下:
from scrapy import cmdline
cmdline.execute("scrapy crawl meinv".split())
4.meinv.py
每个项目的spider文件夹下有个主py文件,里面有个函数:
def parse(self, response):
response就是已经解析好的URL的网页源码,然后通过xpath分析网页的内容,获取图片列表。
5.items.py
自定义字段,用来存储一些信息。比如我们定义了一个image_url用来存储图片地址:
image_url = scrapy.Field()
6.piplines.py
piplines用来清洗数据之用。一般需要自定义一个pipline。
有几个函数是系统自带的,每个函数有各自的用法:
- file_path:用来定义保存的图片名
def file_path(self, request, response=None, info=None):
- get_media_requests:访问图片URL
通过yield scrapy.Request可以下载图片:
def get_media_requests(self, item, info):
- item_completed:图片下载结果
def item_completed(self, results, item, info):
7.settings.py
配置自定义的pipline和图片下载路径:
ITEM_PIPELINES = {
'meinv.pipelines.MeinvPipeline': 300,
}
# 设置图片下载路径
IMAGES_STORE = 'C:\\meinv'
5.效果
6.Github源码
[day4]python网络爬虫实战:爬取美女写真图片(Scrapy版)
欢迎关注我的技术公众号:国民程序员,我们的目标:输出干货
- 每天分享原创技术文章
- 海量免费技术资料和视频学习资源
- 分享赚钱门道,带领程序员走向财务自由