【笔记】0基础python学爬虫（未完）

（一）用requests发送get请求

安装好pycharm（跳过）

在本地控制台输入pip install requests 安装requests模块

with防止资源浪费 不论f文件有没有执行成功最后都会关闭

请求获取url

resp = requests.get(url)

resp.text获取源代码

as f:表示将打开的文件对象赋值给变量 f。通过 f，你可以操作这个文件，比如读写文件内容

（二）发送post请求

你编出来的数据名称 = {“kw":要爬虫的关键字}

kw表示查询的关键词（keyword）

通过 数据={“kw”：}可以访问字典中键 kw 对应的值（即用户输入的单词）

input() 是一个内置的 Python 函数，用来获取用户输入。

在执行时，input("请输入你想查询的单词") 会在控制台向用户显示提示语句 **"请输入你想查询的单词"**，然后等待用户在控制台输入文本。

用户输入的文本会作为字符串返回，并存储在字典 数据 的 kw 键中。

requests.post(url,data = 你编出来的数据名称)

（三）正则表达式

.*取对应的头和尾的最远距离范围

.*？取对应头和尾的最近距离

图中红色阴影部分为 对应头和尾

（四）re模块

匹配的正则表达式加载器 re.compile(r'  ') /r(“  ”)也可以

（五）正则+re的实战

.*?匹配到代码中正则表达式的头和尾（最近） 命名则提取 不命名则过滤

输出时用上面两个哪个都可以

（六）xpath = xml html

xpath导入方式：

加载器：

重点：

导入语句 from lxml import etree

f对象写入html源代码 

etree.HTML（）再将加载好的html代码解析成一个dom树

语法：

自己抓了个网址代码写入xpath_test.html 活学活用

text（）是提取标签中间的文本

* 是任意符

@ 可以提取标签中的属性的文本

// 是随机位置

标签[属性='属性名'] 可以提取固定条件的文本

写循环输出时

把要输出内容的共同部分写成et.xpath（”“）第一部分

共同部分之下要提取的分类进行提取 如何输出

./ 表示共同部分的路径

（七）re+xpath实战

7.1xpath爬取该页面上各个子页面的href

url = "https://desk.zol.com.cn/dongwu/"
head ={
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36 Edg/127.0.0.0"
}
domain = "https://desk.zol.com.cn"
resp = requests.get(url,headers=head)
resp.encoding = "gbk"
et = etree.HTML(resp.text)
result = et.xpath("//ul[@class='pic-list2 clearfix']/li[@class='photo-list-padding']/a[@class='pic']/@href")
for item in result:
url = domain + item  
print(url)

拼接可得到完整的访问链接url

7.2re爬取子某个页面上的图片的src 

根据网页规则来 自己查看页面代码

# 获取详细页面的src（处理好分辨率版本）
url = "https://desk.zol.com.cn/bizhi/9694_117200_2.html"
head = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.0.0 Safari/537.36 Edg/128.0.0.0",
"Referer": "https://desk.zol.com.cn/dongwu/",
"Cookie": "ip_ck=7sKA7vv/j7QuOTUxOTE4LjE3MjI0NDI1NzY%3D; questionnaire_close_today=1724371201; questionnaire_close_total=1; lv=1724709196; vn=7; Adshow=4; questionnaire_pv=1724630413; cto_bundle=bSGTdl8lMkJtMEE5TVU3OWF5VUg3N0RWa2dNcXRodHZLblQ0b0hJN1hZSGZVcVBKMENkRHQyWVUwcVNGN3hvNlpmS09iMTA1djdnRnJIeVc5NHNnSXAxb0lVR0FTam96RjlXbmZYdDExYzl2Z1Z4clNPdUNpYjBtTk4yYVhCRURxeHklMkZGRTF6ZllSMCUyRk5uOFVyZ2JhRzZSQUR4SlElM0QlM0Q"
}

resp = requests.get(url,headers=head)
obj = re.compile(r"var deskPicArr.*?=(?P<deskPicArr>.*?);", re.S)
result = obj.search(resp.text)
deskPicStr = result.group("deskPicArr")
deskPic = json.loads(deskPicStr)
for item in deskPic['list']:
oriSize = item.get("oriSize") # 取oriSize尺寸
imgsrc = item.get("imgsrc") # 获取图片下载路径
imgsrc = imgsrc.replace("##SIZE##", oriSize) # 取oriSize放进##SIZE##里
print(f"下载链接：", imgsrc)

遇到网页防爬403 未解决