Python爬虫爬取Ajax加载的百度图库

Ajax 是一种用于创建快速动态网页的技术, 是一种在无需重新加载整个网页的情况下，能够更新部分网页的技术。

Ajax用一句话来说就是不需要刷整个新页面即可从服务器取得数据（局部刷新）

今天通过在百度图片中输入汽车，然后爬取搜索到的图片，并保存到本地目录来认识Ajax。

1. 分析百度图片网站

• 找到真正的请求地址url

在百度图片上输入**“汽车”**后，右键检查，选择Network中的XHR，然后将网页向下拉，观察发现地址栏的网址并没有发生变化，而图片在增加。 在抓包工具的显示下可以看到有相应的ajax请求增加，点击其中一个文件可以看到详细的信息，请求返回的数据格式是json格式。

​ 比如第一个的请求网址为：https://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj&ct=201326592&is=&fp=result&queryWord=汽车&cl=2&lm=&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=&hd=&latest=&copyright=&word=汽车&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&fr=&expermode=&pn=90&rn=30&gsm=5a&1545483113251=

​ 第二个的网址：https://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj&ct=201326592&is=&fp=result&queryWord=汽车&cl=2&lm=&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=&hd=&latest=&copyright=&word=汽车&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&fr=&expermode=&pn=120&rn=30&gsm=78&1545483113861=

​ 通过对比两个网址可以发现只有pn和gsm的值发生了改变。pn代表的是页数，rn代表每页显示的图片数量。gsm是pn 的 16位显示。

​ 至于最后面的13位数字，因为默认情况下python的时间戳是以秒为单位输出的float ，这里通过把秒转换毫秒，然后四舍五入的方法获得13位的时间戳：这里在设置请求的url可以不用写进去。

import  time
print(int(round(time.time(