【python】简单网络请求(以网页图片获取为例)

 

●) python 爬虫实践（网页表情包的获取）

~~ python小白操练项目，简单易学易懂 ~
 

一、导入模块

# 导入需求模块
import requests 	# 网络请求模块
import time			# 时间模块
import re 			# 正则表达式处理
import os			# 操作系统模块，调用系统命令

 

二、获取目标地址

# 请求目标网站地址,获取内容的第一页url（本文以如下所示地址进行演示，脚本内容以此为参考）
url = 'http://www.bbsnet.com/biaoqingbao'

 

三、爬虫代码

# 操作函数
def download(http):
    # 请求网页前端代码 赋值给html
    html = requests.get(url=url)
    # 通过正则从代码中找到所有图片的链接，返回值是一个列表
    img_url = re.findall(r'http://.*\.gif', html.text)
    # 循环这个列表
    for u in img_url:
        # 定义图片名字为链接的最后一段
        name = u.split('/')[-1]
        # 请求图片的链接，将图片的数据下载下来赋值给data
        data = requests.get(url=u).content
        # 创建储存图片的目录，无则创建
        img_dir = './image'
        if not os.path.exists(img_dir):
            os.makedirs(img_dir)
        # 将图片数据写入到文件中
        with open(f'./image/{name}', 'wb') as f:
            f.write(data)
            print('图片', u, '下载完成')
        time.sleep(0.2)
    print('当前页面下载完毕哦，正在请求下一个 页面')
    time.sleep(2)
    # 用正则找到下一页的链接
    next_page = re.search(r'<a.*下一页.*</a>', html.text)
    next_page = next_page.group().split('</a><a')[-2]
    try:
        # 将函数返回值设置为下一页的链接
        return re.search(r'"(http.*?)"', next_page).group(1)
    except Exception:
        return None

 # 当条件为真的时候，while运行
while url:
    url = download(url)
else:
    print('数据已全部下载完成')

 
~~所展示内容仅作为个人学习参考，请大家注意文明上网！
    喜欢的小伙伴记得点个赞支持一下噢！欢迎大家共同交流！~