本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,,版权归原作者所有,如有问题请及时联系我们以作处理
作者:stones4zd
PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取
找图,通过百度之类的搜索引擎最方便。
如何爬取百度搜索的图片,也是一个有意思的话题。
进入百度图片,随便输入搜索内容,比如“美女”。
打开 F12 ,查看 network ,选择 XHR,查看 AJAX 加载项。会发现,有一个 JSON 文件。随着页面向下滚动,JSON 会依次加载。说明,这个 JSON 就是跟图片内容有关的JSON。
分析 JSON 路径:
https://image.baidu.com/search/acjson?tn=resultjson_com&logid=8249781613697439763&ipn=rj&ct=201326592&is=&fp=result&queryWord=%E7%BE%8E%E5%A5%B3&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=&z=&ic=&hd=&latest=©right=&word=%E7%BE%8E%E5%A5%B3&s=&se=&tab=&width=&height=&face=&istype=&qc=&nc=1&fr=&expermode=&force=&cg=girl&pn=30&rn=30&gsm=1e&1609213971470=
参数 word 和 queryWord 后面的内容就是专为地址码的“美女”汉字。
选中这个 JSON,对数据进行分析。在右边会发现很多属性值是地址,其中一个 thumbURL 就存储了搜索的缩略图地址。这个就是我们要找的目标~! 我们的目的是把缩略图爬下来~
开始编码,用到的知识点:
1. urllib.parse 模块,把汉字换位 URL地址码
2. requests 模块,爬取 JSON 和图片。
3. re 模块,利用正则表达式在 JSON 中抽取缩略图地址。
具体代码如下。
# 设置headers 为了防止反扒,设置多个headers
# chrome,firefox,Edge
headers = [
{
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36',
'Accept-Language': 'zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2',
'Connection': 'keep-alive'
},
{
"User-Agent":'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:79.0) Gecko/20100101 Firefox/79.0',
'Accept-Language': 'zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2',
'Connection': 'keep-alive'
},
{
"User-Agent":'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 Edge/18.19041',
'Accept-Language': 'zh-CN',
'Connection': 'keep-alive'
}
]
cn = input("请输入要搜索的图片:")
bfb = urllib.parse.quote(cn) # 转码
print( bfb )
# print( urllib.parse.unquote(bfb) ) # 解码
# 百度检索结果 json 路径
webURL = r"https://image.baidu.com/search/acjson?tn=resultjson_com&logid=10895392189573015052&ipn=rj&ct=201326592&is=&fp=result&queryWord={bfb}&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=&hd=&latest=©right=&word={bfb}&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&fr=&expermode=&force=&cg=girl&pn={page}&rn=30&gsm=1e&1608997121898=".format(bfb=bfb, page=1*30)
# 获取 json 内容
req = requests.get(url=webURL, headers=random.choice(headers))
req.encoding = req.apparent_encoding # 防止中文乱码
webJSON = req.text
# 获取图片 list。图片地址都在 "thumbURL":"xxxx" 里面。这里只需要缩略图。
# 利用正则表达式获取图片路径
imgurlReg = '"thumbURL":"(.*?)"'
picList = re.findall(imgurlReg, webJSON, re.DOTALL | re.I)
# 请求每张图片
for item in picList:
img_req = requests.get(url=item, headers=random.choice(headers))
imgFile = "img/"+item.split("/")[-1]
# 下载图片
with open(imgFile, "wb") as f:
f.write(img_req.content)
print(item+" 下载完毕")
完美。