爬两千张妹子图，我只需要10行代码！这就是Python的魅力！

print(res.text)

使用 requests 模块的 get 方法即可获取网页数据，其中的参数分别是请求地址，请求头，等待时间。

请求头字段中的 User-Agent，可以先使用我提供给你的内容，也可以通过开发者工具，进行获取。

在数据返回 Response 对象之后，通过 res.encoding="GBK" 设置了数据编码，该值可以从网页源码中获取到。

请求到数据源码，即开始解析数据，如果使用正则表达式，建议先对目标数据进行一些简单的裁剪工作。

裁剪字符串是 Python 中比较常规的操作了，直接编写代码即可实现。

用到的还是上文已经提及的两个字符串。

# 解析函数

def format(text):

处理字符串

div_html = ‘

’

page_html = ‘

’

start = text.find(div_html) + len(div_html)

end = text.find(page_html)

origin_text = text[start:end]

最终得到的 origin_text 就是我们的目标文本。

通过 re 模块解析目标文本

上文返回的目标文本如下所示，本小节的目标就是获取到图片详情页地址。

使用的技术是 re 模块，当然需要配合正则表达式进行使用，对于正则表达式，可以跟随橡皮擦一点点的接触。

# 解析函数

def format(text):

处理字符串

div_html = ‘

’

page_html = ‘

’

start = text.find(div_html) + len(div_html)

end = text.find(page_html)

origin_text = text[start:end]

pattern = re.compile(‘href=“(.*?)”’)

hrefs = pattern.findall(origin_text)

print(hrefs)

其中 re.compile 方法中传递的就是正则表达式，它是一种检索字符串特定内容的语法结构。 例如 . ：表示除换行符（\n、\r）之外的任何单个字符； *：表示匹配前面的子表达式零次或多次； ?：当该字符紧跟在任何一个其他限制符 (*, +, ?, {n}, {n,}, {n,m}) 后面时，匹配模式是非贪婪的，非贪婪就是减少匹配； ()：分组提取用。有这些知识之后，在回到代码中去看实现。

假设存在一个字符串：href=“/desk/23478.htm”，使用 href=“(.*?)” 可以将其中的 /desk/23478.htm 匹配出来，括号的作用也是为了后续方便提取。

最后输出内容如下图所示。

清洗爬取结果

其中存在部分链接地址不正确，需要从列表中进行去除，本步骤使用列表生成器即可完成任务。

pattern = re.compile(‘href=“(.*?)”’)

hrefs = pattern.findall(origin_text)

hrefs = [i for i in hrefs if i.find(“desk”)>0]

print(hrefs)

抓取内页数据

获取到列表页地址之后，就可以对图片内页数据进行获取了，这里用到的技术与前文逻辑一致。

# 解析函数

def format(text, headers):

处理字符串

div_html = ‘

’

page_html = ‘

’

start = text.find(div_html) + len(div_html)

end = text.find(page_html)

origin_text = text[start:end]

pattern = re.compile(‘href=“(.*?)”’)

hrefs = pattern.findall(origin_text)

hrefs = [i for i in hrefs if i.find(“desk”) > 0]

for href in hrefs:

url = f"http://www.netbian.com{href}"

res = requests.get(url=url, headers=headers, timeout=5)

res.encoding = “GBK”

format_detail(res.text)

break

在第一次循环中增加了 break，跳出循环，format_detail 函数用于格式化内页数据，依旧采用格式化字符串的形式进行。

由于每页只有一张图片是目标数据，故使用的是 re.search 进行检索，同时调用该对象的 group 方法对数据进行提取。

发现重复代码了，稍后进行优化。

# 存储函数

def save_image(image_src):

res = requests.get(url=image_src, timeout=5)

content = res.content

with open(f"{str(time.time())}.jpg", “wb”) as f:

f.write(content)

得到的第一张图片，贴到博客中记录。

优化代码

将代码重复逻辑进行提取，封装成公用函数，最终整理之后的代码如下：

import requests

import re

import time

请求函数

def request_get(url, ret_type=“text”, timeout=5, encoding=“GBK”):

headers = {

“User-Agent”: “Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36”

}

res = requests.get(url=url, headers=headers, timeout=timeout)

res.encoding = encoding

if ret_type == “text”:

return res.text

elif ret_type == “image”:

return res.content

抓取函数

def main():

url = “http://www.netbian.com/mei/index.htm”

text = request_get(url)

format(text)

解析函数

def format(text):

origin_text = split_str(text, ‘

’, ‘

’)

pattern = re.compile(‘href=“(.*?)”’)

hrefs = pattern.findall(origin_text)

hrefs = [i for i in hrefs if i.find(“desk”) > 0]

for href in hrefs:

url = f"http://www.netbian.com{href}"

print(f"正在下载：{url}")

text = request_get(url)

format_detail(text)

def split_str(text, s_html, e_html):

start = text.find(s_html) + len(e_html)

end = text.find(e_html)

origin_text = text[start:end]

return origin_text

def format_detail(text):

origin_text = split_str(text, ‘

’, ‘

’)

pattern = re.compile(‘src=“(.*?)”’)

image_src = pattern.search(origin_text).group(1)

保存图片

save_image(image_src)

最后

不知道你们用的什么环境，我一般都是用的Python3.6环境和pycharm解释器，没有软件，或者没有资料，没人解答问题，都可以免费领取（包括今天的代码），过几天我还会做个视频教程出来，有需要也可以领取~

给大家准备的学习资料包括但不限于：

Python 环境、pycharm编辑器/永久激活/翻译插件

python 零基础视频教程

Python 界面开发实战教程

Python 爬虫实战教程

Python 数据分析实战教程

python 游戏开发实战教程

Python 电子书100本

Python 学习路线规划

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里无偿获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！