Python 爬虫爬取图片

爬取图片

源码

import requests
import re

# 图片格式 <img class="large" src="style/u24020836931378817798fm170s6BA8218A7B2128178FA0A49F010080E2w.jpg">

def html_code(url):
    # 发送 get 请求
    res = requests.get(url=url)
    # 将响应正文的二进制解码返回
    html = res.content.decode()
    return html

# 正则匹配,筛选图片地址，  注意 \w 无法匹配 “/”
def img_path_list(html):
    # 此处匹配 “style/” 和 “.jpg” 中间所有内容，点号要进行转义，返回 jpg 图片名列表
    return re.findall(r"style/\w*\.jpg",html)

def img_request(img_path_list):
    img_list = []
    for img_path in img_path_list:
        # 请求每一个图片，将响应存储到列表中返回
        img_list.append(requests.get(url+img_path))
    return img_list

def img_download(img,i):
    # 保存路径要精确到文件名，防止文件名重复覆盖，此处添加变量
    img_save_path = f"./image/{i}.jpg"
    # 注意 wb 以二进制形式读写
    print(img_save_path )
    with open(img_save_path,"wb") as f:
        f.write(img.content)

url = "http://10.9.47.154/python-spider/"
# 请求该网页的 html 代码
html=html_code(url)
# 获取文件名列表
img_path_list=img_path_list(html)
# 请求图片
imgs = img_request(img_path_list)
# 下载图片
i=0
for img in imgs:
    img_download(img,i)
    i+=1

效果