网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
页面地址为
/desk/23397.htm
。整理需求如下
-
生成所有列表页 URL 地址;
-
遍历列表页 URL 地址,并获取图片详情页地址;
-
进入详情页获取大图;
-
保存图片;
-
得到 2000 张图片之后,开始欣赏。
代码实现时间
提前安装完毕
requests
模块,使用 pip install requests 即可,如果访问失败,切换国内 pip 源。留个课后小作业,如何设置全局的 pip 源。
代码结构如下:
import requests
抓取函数
def main():
pass
解析函数
def format():
pass
存储函数
def save_image():
pass
if __name__ == ‘__main__’:
main()
先实现 10 行代码抓美女图,举个例子,在正式开始前,需要略微了解一些前端知识与正则表达式知识。
例如通过开发者工具查看网页,得到图片素材都在
<div class="list">
和<div class="page">
这两个标签中,首先要做的就是拆解字符串,取出目标数据部分。通过
requests
对网页源码进行获取,代码如下。# 抓取函数
def main():
url = “http://www.netbian.com/mei/index.htm”
headers = {
“User-Agent”: “Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36”
}
res = requests.get(url=url, headers=headers, timeout=5)
res.encoding = “GBK”
print(res.text)
使用
requests
模块的get
方法即可获取网页数据,其中的参数分别是请求地址,请求头,等待时间。请求头字段中的
User-Agent
,可以先使用我提供给你的内容,也可以通过开发者工具,进行获取。在数据返回
Response
对象之后,通过res.encoding="GBK"
设置了数据编码,该值可以从网页源码中获取到。请求到数据源码,即开始解析数据,如果使用正则表达式,建议先对目标数据进行一些简单的裁剪工作。
裁剪字符串是 Python 中比较常规的操作了,直接编写代码即可实现。
用到的还是上文已经提及的两个字符串。
# 解析函数
def format(text):
处理字符串
div_html = ‘
’page_html = ‘
’start = text.find(div_html) + len(div_html)
end = text.find(page_html)
origin_text = text[start:end]
最终得到的
origin_text
就是我们的目标文本。通过 re 模块解析目标文本
上文返回的目标文本如下所示,本小节的目标就是获取到图片详情页地址。
使用的技术是 re 模块,当然需要配合正则表达式进行使用,对于正则表达式,可以跟随橡皮擦一点点的接触。
# 解析函数
def format(text):
处理字符串
div_html = ‘
’page_html = ‘
’start = text.find(div_html) + len(div_html)
end = text.find(page_html)
origin_text = text[start:end]
pattern = re.compile(‘href=“(.*?)”’)
hrefs = pattern.findall(origin_text)
print(hrefs)
其中 re.compile 方法中传递的就是正则表达式,它是一种检索字符串特定内容的语法结构。 例如 . :表示除换行符(\n、\r)之外的任何单个字符; *:表示匹配前面的子表达式零次或多次; ?:当该字符紧跟在任何一个其他限制符 (*, +, ?, {n}, {n,}, {n,m}) 后面时,匹配模式是非贪婪的,非贪婪就是减少匹配; ():分组提取用。有这些知识之后,在回到代码中去看实现。
假设存在一个字符串:href=“/desk/23478.htm”,使用 href=“(.*?)” 可以将其中的
/desk/23478.htm
匹配出来,括号的作用也是为了后续方便提取。最后输出内容如下图所示。
清洗爬取结果
其中存在部分链接地址不正确,需要从列表中进行去除,本步骤使用列表生成器即可完成任务。
pattern = re.compile(‘href=“(.*?)”’)
hrefs = pattern.findall(origin_text)
hrefs = [i for i in hrefs if i.find(“desk”)>0]
print(hrefs)
抓取内页数据
获取到列表页地址之后,就可以对图片内页数据进行获取了,这里用到的技术与前文逻辑一致。
# 解析函数
def format(text, headers):
处理字符串
div_html = ‘
’page_html = ‘
’start = text.find(div_html) + len(div_html)
end = text.find(page_html)
origin_text = text[start:end]
pattern = re.compile(‘href=“(.*?)”’)
hrefs = pattern.findall(origin_text)
hrefs = [i for i in hrefs if i.find(“desk”) > 0]
for href in hrefs:
url = f"http://www.netbian.com{href}"
res = requests.get(url=url, headers=headers, timeout=5)
res.encoding = “GBK”
format_detail(res.text)
break
在第一次循环中增加了
break
,跳出循环,format_detail
函数用于格式化内页数据,依旧采用格式化字符串的形式进行。由于每页只有一张图片是目标数据,故使用的是
re.search
进行检索,同时调用该对象的group
方法对数据进行提取。发现重复代码了,稍后进行优化。
# 存储函数
def save_image(image_src):
res = requests.get(url=image_src, timeout=5)
content = res.content
with open(f"{str(time.time())}.jpg", “wb”) as f:
f.write(content)
得到的第一张图片,贴到博客中记录。
最后
不知道你们用的什么环境,我一般都是用的Python3.6环境和pycharm解释器,没有软件,或者没有资料,没人解答问题,都可以免费领取(包括今天的代码),过几天我还会做个视频教程出来,有需要也可以领取~
给大家准备的学习资料包括但不限于:
Python 环境、pycharm编辑器/永久激活/翻译插件
python 零基础视频教程
Python 界面开发实战教程
Python 爬虫实战教程
Python 数据分析实战教程
python 游戏开发实战教程
Python 电子书100本
Python 学习路线规划
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
-