爬虫(spider,又网络爬虫),是指向网站/网络发起请求,获取资源后分析并提取有用数据的程序,从技术层面来说就是 通过程序模拟浏览器请求站点的行为,把站点返回的HTML代码/JSON数据/二进制数据(图片、视频) 爬到本地,进而提取自己需要的数据,存放起来使用。
首先打开百度搜取想要爬取的网页,鼠标右键点击,选择检测
然后选择网络 停用缓存打上对勾,刷新此页面得到一堆数据 在里面寻找一个herolist.json
复制网址 打开Python编写代码
使用requests模块
import requests #模块
地址 = requests.get("--------网址-------") #请求地址
for c in 地址.json(): #使用for循环遍历获取的信息
cname = c["cname"] # 获取所有信息的名字
ename = c["ename"] # 获取id
a2=requests.get(f"--------网址-------.jpg")
with open(f"{cname}.jpg", "wb") as f: #保存
f.write(a2.content)
上面就是获得爬取信息的所有步骤,以及代码。