python爬虫随心所欲地爬取百度图片!

一、前言

之前爬取了很多静态网页的内容,包括:小说、图片等等,今天我来尝试一下动态网页的爬取。众所周知,百度图片就是一个动态网页。那么,冲!冲!!冲!!!

 

二、需要导入的库

import requests

import json

import os

 

三、实现过程

1、下载链接分析

首先,打开百度,搜索一个内容,这里搜索的是男神(本人 )——彭于晏

 

然后,打开抓包工具,选择XHR选项,按Ctrl+R,然后你会发现,随着你鼠标的滑动,右侧会出现一个又一个的数据包。

(这里没滑动太多,一开始因为滑动太多,录的GIF超5M了)

 

然后,选一个包,查看它的headers,如图:

 

截取之后,粘贴在记事本上,作为一个URL,后文会用到。

 

这里有很多很多的参数,我也不知道具体哪些是可以忽略的,后文就索性全复制下来了,具体看后文。

 

到这里,能够直接观察到的内容就结束了,接下来,借助代码,帮我们打开另一个世界的大门

 

冲就完事了!

 

2、代码分析

首先:把上述中的“其它参数”组在一起。

 

自己做的话,最好复制自己的“其它参数”。

 

之后,我们可以先提取一下试试,并且把编码格式改成'utf-8'

 

url = '百度图片-发现多彩世界

param = {

'tn': 'resultjson_com',

'logid': ' 7517080705015306512',

'ipn': 'rj',

'ct': '201326592',

'is': '',

'fp': 'result',

'queryWord': '彭于晏',

'cl': '2',

'lm': '-1',

'ie': 'utf-8',

'oe': 'utf-8',

'adpicid': '',

'st': '',

'z': '',

'ic': '',

'hd': '',

'latest': '',

'copyright': '',

'word': '彭于晏',

's': '',

'se': '',

'tab': '',

'width': '',

'height': '',

'face': '',

'istype': '',

'qc': '',

'nc': '1',

'fr': '',

'expermode': '',

'force': '',

'cg': 'star',

'pn': '30',

'rn': '30',

'gsm': '1e',

}

# 将编码形式转换为utf-8

response = requests.get(url=url, headers=header, params=param)

response.encoding = 'utf-8'

response = response.text

print(response)

 

运行结果如下:

看上去挺乱的哈,没事,我们给包装一下!

 

在上面的基础上加上:

 

# 把字符串转换成json数据

data_s = json.loads(response)

print(data_s)

 

运行结果如下:

和上面相比,已经明晰很多了,但依旧不够明确,为什么呢?因为它打印的格式不方便我们观看!

 

对此,有两种解决办法。

 

①导入pprint库,接着输入pprint.pprint(data_s),就能打印啦,如下图

 

 

②使用json在线解析器(自行百度),结果如下:

 

解决掉上一步,我们会发现,想要的数据都在data里面!

 

那么就提取吧!

 

a = data_s["data"]

for i in range(len(a)-1): # -1是为了去掉上面那个空数据

data = a[i].get("thumbURL", "not exist")

print(data)

 

结果如下:

到这里,已经成功90%啦,剩下的就是保存和优化代码了!

近期有很多朋友通过私信咨询有关Python学习问题。为便于交流,点击蓝色自己加入讨论解答资源基地

已标记关键词 清除标记
相关推荐
©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页