python网页爬虫代码+过程

本次爬虫利用requests模块，将网页图片下载至本地。

爬虫步骤：

1.获取网页内容
 1.1定义URL、1.2User-Agent伪装、1.3发送请求并接受返回数据、1.4保存返回内容至文本文件

2.从网页里提取图片地址（观察图片url规律），生成一个列表

3.遍历此列表，总结出url规律并依次发送请求并返回对象

代码：

# 1.获取网页内容
# 1.1定义URL
import requests
import re
url = "http://*.*.*.117/"
# 1.2UA伪装
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:109.0) Gecko/20100101 Firefox/114.0'
}
# 1.3发送请求并接受返回
response = requests.get(url=url, headers=headers).text
# 1.4保存文本位置
# 2.从网页中提取出图片地址，生成一个图片地址列表
img_path_re = r"images/home.\.jpg"
img_path_list = re.findall(img_path_re, response)
# 3.遍历列表，拼接URL依次发送请求并接受返回对象
number = 0  # 生成图片编号
for img_path in img_path_list:
    full_url = url + img_path
    res = requests.get(url=full_url, headers=headers).content
    number += 1
#