一个简单网页爬虫脚本

import requests
import re
import time
# 导入了三个模块：requests、re和time，分别用于发送HTTP请求、进行正则表达式匹配和处理时间相关操作。

url = "http://192.168.177.167/机械键盘/"# 定义了一个全局变量url，表示要访问的页面的URL地址。

#get_html(url)函数：根据指定的URL发送HTTP GET请求，获取网页的原始HTML内容并返回
def get_html(url): 
    res  = requests.get(url = url)
    html = res.text
    return html

# get_img_path_list(html)函数：从传入的HTML文本中提取所有图片路径，并返回一个包含所有图片路径的列表
def get_img_path_list(html):
    img_path_re = r"style/\w+\.jpg"
    img_path_list = re.findall(img_path_re, html)
    return img_path_list

# img_download(img_path)函数：根据传入的图片路径，构造完整的图片URL。然后使用HTTP GET请求下载图片，并将其保存到本地路径"./img/"下，以时间戳作为文件名。
def img_download(img_path):
    full_url = url + img_path
    print(f"Image URL : {full_url}")
    res = requests.get(url = full_url)
    img_save_path = f"./img/{time.time()}.jpg"

    with open(img_save_path, 'wb') as f :
        f.write(res.content)

html = get_html(url = url)
img_path_list = get_img_path_list(html = html)
#调用函数
for img_path in img_path_list:
    img_download(img_path)