import requests
import re
# 获取网页源代码
def get_http_res_content(url):
res = requests.get(url = url , headers = headers)
# 响应正文(二进制)
return res.content
# 获取图片地址
# 图片格式 <img class="large" src="style/u24020836931378817798fm170s6BA8218A7B2128178FA0A49F010080E2w.jpg">
def get_img_path_list(html):
# 此处匹配 “style/” 和 “.jpg” 中间所有内容,点号要进行转义,返回 jpg 图片名列表
img_path_list = re.findall(r'style/\w*\.jpg',html)
return img_path_list
# 下载图片
def img_download(img,x):
# 保存路径要精确到文件名,防止文件名重复覆盖,此处添加变量
img_save = f"./images/{x}.jpg"
with open(img_save,"wb") as f:
f.write(img)
# 网站地址
url = "http://10.9.47.83/python-spider/"
# 浏览器指纹
headers = {
"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36 Edg/118.0.2088.76"
}
html = get_http_res_content(url).decode()
# 调用函数,将网页源代码中的图片地址提出
img_path_list = get_img_path_list(html)
# 遍历所有图片地址
x = 1
for img_path in img_path_list:
# 将网页url与图片地址拼接
img_url = url + img_path
# 将图片转成二进制
img = get_http_res_content(img_url)
# 调用下载图片函数
img_download(img,x)
x += 1
Python 实现网页图片爬取【代码】
于 2023-11-02 17:38:26 首次发布