python爬虫学习笔记（三）

在进行爬虫代码的编写前，要对要爬取的页面源代码和要实现的功能进行分析，尽量选择最简捷的方式完成所需的功能。

在源代码中，很多都包含script模块，该模块中可能存放了与该页面有关的同级的页面信息，从而可以避免访问所有页面而获取所有页面中的有效内容。

实战示例

 首先获取所需内容的下载路径

# 该段代码用于实现对多个内容的提取，例如提取组图中的每一张高清大图
import requests
import re

url = "xxxx"  # 某张图片的详情页
resp = requests.get(url)
print(resp.text)  # 检查获取的源代码有没有问题

# 提取
obj = re.compile(r"lllll",re.S)
# 注意源代码中的空格，可能是空格，也可能是制表符，换行符之类的，所以建议直接.*?，但要遵守前端的语法规则，比如var后一定是空格
result = obj.search(resp.text)
objcontext = result.group("groupname")
# .*?提取的内容是字符串，而不是字典，在前端中叫json


import json
# 把提取的字符串转换为字典
dirobj = json.loads(objcontext)
print(dirobj) 

for item in dirobj['list']:
    A = item.get("A")  # 获取list中的对应参数信息
    B = item.get("B")
    print(A,B)
    C = B.replace("xxx", A)  # 将B中对应元素替换为A
    print(C)

下载所需的内容

# 发送网络请求
resp_sub = requests.get(C)
# resp.text获取的是文本
# resp.content获取的是字节
filename = resp_sub.split("/")[-1]  # 获取合适的文件名称
with open("xxx.jpg/Z/i/tiff",mode='wb') as f:
with open(f"filedirpath/{filename}",mode='wb') as f:
    f.write(resp_sub.content)

与笔记（二）中的内容结合就可以完整地获取下载内容啦~