简单20行python代码_简单 20 行 python 代码实现爬取表情包，麻麻再也不用担心我聊天图慌了！！...

古之立大事者，不为超世之才，亦必有坚忍不拔之志——苏轼

写在前面

今天弄了一个简易的爬表情包的脚本，这个脚本是 python 的，下面就将我的思路分享给大家。

网站分析

我们爬取的是 斗图啦 这个网站最新表情页，我们先来分析一下其 中的属性都有些什么。

我们在 懒加载 这篇博客介绍过原 src 属性的值指向占位图片， data-original 属性设置图片的才是真实路径，所以这个链接是有用的；alt 属性貌似是图片名称，先记下。还有 class 属性，也记下来(要考的)，用于区分 元素。

需要的库

在我们这个脚本中需要的库如下所示

import urllib

from bs4 import BeautifulSoup

import requests

import re

import os

说明：

urllib 库，此库是python中内置的一款 HTTP 请求库，也就是说此库不跟 pygame 似的需要我们自己安装，可以直接使用。

此库还包含了 4 个模块，分别是

request: 最基本的HTTP请求模块，可以用来模拟发送请求。类似于在浏览器地址栏输入地址后按回车一样。

error: 异常处理模块，用于捕捉各种出现的请求错误。

parse： 工具模块，提供了许多URL处理方法，例如拆分、解析、合并等。

robotparser: 主要用来识别网站的robots.txt文件。(用的比较少)

BeautifulSoup库是用Python写的一个 HTML/XML 的解析器，它可以很好的处理。它提供简单又常用的导航，搜索以及修改剖析树的操作。它可以大大节省你的编程时间。

requests 是 python 实现的最简单易用的 HTTP 库

前提准备

示例代码如下所示：

# 伪造浏览器用于 HTTP 请求的用户头

ua = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.183 Safari/537.36 Edg/86"

url = "http://www.doutula.com/photo/list/?page=1"

def save_img(url, imgName):

suffix = url.split('.')[-1]

newimgName = re.sub(u"([^\u4e00-\u9fa5\u0030-\u0039\u0041-\u005a\u0061-\u007a])","",imgName)

# 合并字符串 拼出文件名

filename = newimgName + '.' + suffix

'''

os.path.join() 把目录和文件名合成一个路径

'''

path = os.path.join('B:\Practice code\Python\change_Ta\imgs', filename)

'''

urllib.request.urlretrieve(url, filename=None)

* 将URL表示的网络对象复制到本地文件

* 参数

* url：外部或者本地url

* filename：指定了保存到本地的路径(如果未指定该参数，urllib会生成一个临时文件来保存数据)；

'''

img_data = urllib.request.urlretrieve(url, filename=path)

代码分析如下所示

全局变量：

ua: 表示伪造浏览器用于 HTTP 请求的用户头

url: 表示爬取的网址

全局函数：

save_img()：用于保存图片的函数，接受两个参数，第一个表示图片的地址，第二个参数表示图片的名称

函数代码说明：

url.split('.')[-1] : split() 函数指定分隔符 分隔字符串 返回一个数组，[-1] 索引值表示最后一位

re.sub(u"([^\u4e00-\u9fa5\u0030-\u0039\u0041-\u005a\u0061-\u007a])","",imgName)

这段代码的含义就是删除掉名称中的特殊字符，re.sub() 函数在 Python 正则表达式的语法以及 re 模块的使用 有所介绍。

os.path.join('B:\Practice code\Python\change_Ta\imgs', filename)

这段代码记录的是图片的保存地址，``os.path.join()` 函数在 PythonOS.path模块的详细使用说明 有所介绍

urllib.request.urlretrieve() 函数，用于保存图片，接受两个参数，一直为图片的地址，另一个为保存的路径。

主要代码

主要代码如下所示

# 伪造请求头发起请求 并返回一个 requests 对象

res = requests.request('GET', url, headers={'User-agent': ua})

# .text 属性根据编码方式获取 HTML 源代码 (编码方式可以通过 encodeing 属性设置)

# print(res.encoding)

content = res.text

# 通过 BeautifulSoup 的构造方法，传入一个字符串或者文件句柄，就可以得到一个 bs 对象，html5lib 是解析方式

soup = BeautifulSoup(content, 'html5lib')

image_list = soup.find_all('img', attrs={'class': 'img-responsive lazy image_dta'})

for img in image_list:

# 获取 'data-original' 属性的值

url_img = img['data-original']

# 获取图片名称

img_name = img['alt']

save_img(url_img, img_name)

主要代码分析如下

通过 BeautifulSoup() 方法返回的 bs 对象，通过其 find_all() 方法筛选其 标签，这里通过我们之前记录的 class 属性。该方法的返回值是一个包换所有符合条件的列表

通过 for 循环遍历我们的符合条件的列表，每个值都调用一下 save_img() 方法。

完整代码

完整代码如下所示

import urllib

from bs4 import BeautifulSoup

import requests

import re

import os

# 伪造浏览器用于 HTTP 请求的用户头

ua = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.183 Safari/537.36 Edg/86"

url = "http://www.doutula.com/photo/list/?page=1"

def save_img(url, imgName):

suffix = url.split('.')[-1]

newimgName = re.sub(u"([^\u4e00-\u9fa5\u0030-\u0039\u0041-\u005a\u0061-\u007a])","",imgName)

filename = newimgName + '.' + suffix

path = os.path.join('B:\Practice code\Python\change_Ta\imgs', filename)

img_data = urllib.request.urlretrieve(url, filename=path)

# 伪造请求头发起请求 并返回一个 requests 对象

res = requests.request('GET', url, headers={'User-agent': ua})

# .text 属性根据编码方式获取 HTML 源代码 (编码方式可以通过 encodeing 属性设置)

# print(res.encoding)

content = res.text

# 通过 BeautifulSoup 的构造方法，传入一个字符串或者文件句柄，就可以得到一个 bs 对象，

soup = BeautifulSoup(content, 'html5lib')

image_list = soup.find_all('img', attrs={'class': 'img-responsive lazy image_dta'})

for img in image_list:

# 获取 'data-original' 属性的值

url_img = img['data-original']

img_name = img['alt']

save_img(url_img, img_name)

写在最后

我们可以根据这个思路来获取其他网页的图片，而且也可以将最后一段代码封装称为一个函数，通过 for 循环来获取多页的表情包，示例如下所示

BASE_PAGE_URL = "http://www.doutula.com/photo/list/?page="

PAGE_URL_LIST = []

for i in range(1,30):

# 拼接字符串

url = BASE_PAGE_URL + str(i)

# 调用主函数

因为我们爬取的表情包的网页的 URL 是由规律的嘛，我们可以通过这种方式来抓取其所有表情包

本文地址：https://blog.csdn.net/weixin_46163658/article/details/109632141

如您对本文有疑问或者有任何想说的，请点击进行留言回复，万千网友为您解惑！