PYcharm使用python爬取图片学习笔记

Nan_White_

已于 2022-10-11 19:22:35 修改

阅读量3.5k

点赞数 20

分类专栏： python 文章标签： python pycharm 学习

于 2022-10-11 16:09:52 首次发布

本文链接：https://blog.csdn.net/xin996ya/article/details/127262516

版权

python 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

#导入需要的packages
import requests
import re
import time

（1）导入所需包

（2）#构建访问请求头（使用了自身浏览器的真实访问头）

在浏览器搜索任意内容>打开开发者工具>网络>点击名称列表任意一项>在标头框下划动找到

本浏览器user-agent为

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36 Edg/106.0.1370.33

headers = {
    'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Mobile Safari/537.36 Edg/106.0.1370.37'
    }#将上图获得请求头复制粘贴附值给headers

（3）请求获得网站源码，本次的学习网站为https://www.vmgirls.com/archives/（此网站为个人搭建，应该是静态网站，爬取较简单，浏览器搜索栏获取网址）选用文章归档界面是因为列表每一项点进去都是一个全是图片的页面，便于图片网址获取。

response = requests.get('https://www.vmgirls.com/archives/', headers=headers)
#使用requests.get，以（2）中构建的请求头headers访问网址https://www.vmgirls.com/archives/
#获得网站的源代码附值给response
html = response.text#将response的文本附值给html？
print(html)#把获得的网页源码打印出来

部分结果如下图

通过点击部分链接，可以发现每篇文章的网址都是类似"https://www.vmgirls.com/2696.html"的形式，通过这个网址格式构建正则表达式，规定下方查找的形式。

t = 'https://www.vmgirls.com/\d*?.html 此表达式规定搜索内容样式为https://www.vmgirls.com/加上\d*?加上.html 的所有内容，\d*代表匹配任意个数字（包括0个），?代表前一个符号*可能存在或不存在。*存在表示可能有0或任意个数字，*不存在表示只有一个数字。
具体正则表达式规则可参考链接正则表达式30分钟入门教程 (deerchao.cn)

构建正确的正则表达式很重要

t = 'https://www.vmgirls.com/\d*?.html'# 构建正则表达式t,|表示or,可进行多个表达式的匹配
result = re.findall(t, response.text)# 用正则表达式t从response.text获得所有文章网址赋给result
print(result)#打印result

输出结果如下：

结果为符合要求的网络地址

（4）找到文章网页中图片的网址

for url_wz in result:#从result中找到网址赋给url_wz
    time.sleep(0.1)  # 设定0.1秒延时，可以不设延时，但会对网站服务器造成压力
    print('正在爬取：' + str(url_wz) + "的图片")  # 查看正在爬取的网址
    response = requests.get(url_wz, headers=headers ) 
 # 用requests库的get函数访问文章网页获得文章的源代码，其中包含图片网址，用headers进行伪装
    html = response.text  # 用文本显示访问网页得到的内容
    print（html）#打印文章源码

此段代码会直接打印所有（3）中获得的网址的源代码。在打印结果中试着点击后缀为jpg等代表图片的网址。多个源代码中代表图片的网址可能样式不同。可以通过构建多个正则表达式用 | 分割来连接如：t='https://.*?.jpg|https://.*?.png|https://.*?.jpeg' 。# | 两边不能加空格。

。

根据输出结果构建正则表达式为

'https://.*?.jpg|https://.*?.png|https://.*?.jpeg'

此表达式代表范围太广，会下载到大多图片，有些png文件其实并不是我们需要的，我们通过点击结果中的链接，发现后缀为jpg的图片才是我们要的高清大图。因此下方只提取jpg。

urls_tp = re.findall('https://.*?.jpg', html) 
# 正则表达式获得图片网址
print(urls_tp)#打印显示文章图片网址，以查看和测试是否正确

结果如下图：

获得了所有jpg后缀的地址。

（5）将地址上的图片保存下来

    for url in urls_tp:
       time.sleep(0.1)
       file_name=url.split('/')[-1]#定义图片名字，不重复
       response= requests.get(url, headers=headers)#从url获得图片
       with open(file_name,'wb') as f:
           f.write(response.content)#将从response获得的内容写出

此种输出方式没有设定文件夹，会在py文件所在文件夹输出，更多输出方式还需要进一步研究。

输出结果

整体代码

代码中间部分不需要最终输出的添加#转为注释

import requests
import re
import time

headers = {
    'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Mobile Safari/537.36 Edg/106.0.1370.37'
    }
response = requests.get('https://www.vmgirls.com/archives/', headers=headers)
html = response.text
#print(html)
t = 'https://www.vmgirls.com/\d*?.html'# 构建正则表达式,|表示or,匹配两个表达式
result = re.findall(t, response.text)# 用正则表达式获得文章的所有网址
#print(result)


for url_wz in result:
    time.sleep(0.1)  # 设定3秒延时
    #print('正在爬取：' + str(url_wz) + "的图片")  # 查看正在爬取的网址
    response = requests.get(url_wz, headers=headers )  # 用requests库的get函数访问文章网页获得文章的源码，用headers进行伪装
    html = response.text  # 用文本显示访问网页得到的内容
   # print(html)
    #urls_tp = re.findall('https://.*?.jpg|https://.*?.png|https://.*?.jpeg', html)  # 正则表达式获得图片网址
    urls_tp = re.findall('https://.*?.jpg', html)
    #print(urls_tp)#打印显示文章图片网址，以查看和测试是否正确
    for url in urls_tp:
       #图片名
       time.sleep(0.1)
       file_name=url.split('/')[-1]#定义图片名字，不重复
       response= requests.get(url, headers=headers)#从url获得图片
       with open(file_name,'wb') as f:
           f.write(response.content)#将从response获得的内容写出