python爬虫之以腾讯招聘为例，爬取动态页面

以腾讯招聘网站为例，打开网站，搜索“python”，返回页面如下：

把鼠标光标放在我们要查询的岗位上，然后右键--->检查，点击network，然后刷新，其中XHR返回的便都是动态链接，其中不同于以往的网站，我们所要查找的数据不在response中，而是存放在preview中，如下图：

 此时再查看齐请求链接，链接较长，其中有很多的参数，具体的参数都存放在Query String Parameters中，如下：

 其中，timestamp为时间戳，10位表示秒（1970年1月1日 0时0分0秒到某个时间的秒数），13位表示毫秒数，未显示值的参数便可忽略，keyword后便是我们搜索的关键词，pageIndex参数可控制进行翻页，如下：

# 请求动态链接
Request URL: https://careers.tencent.com/tencentcareer/api/post/Query?timestamp=1637684846385&countryId=&cityId=&bgIds=&productId=&categoryId=&parentCategoryId=&attrId=&keyword=python&pageIndex=1&pageSize=10&language=zh-cn&area=cn

# 具体参数
timestamp: 1637684846385
countryId: 
cityId: 
bgIds: 
productId: 
categoryId: 
parentCategoryId: 
attrId: 
keyword: python
pageIndex: 1
pageSize: 10
language: zh-cn
area: cn

此时便可把请求链接简化为：

# 请求动态链接
Request URL: https://careers.tencent.com/tencentcareer/api/post/Query?timestamp=1637684846385&keyword=python&pageIndex=1&pageSize=10&language=zh-cn&area=cn

当我们把简化后的请求链接放在浏览器中，返回的便是json格式的内容（因为浏览器装了jsonview插件，所以如下显示），如下：

返回json内容后，再用json模块，把json内容转化为python对象，简略Python如下：

import requests,time,json
timestamp = int(time.time())*1000 # 利用time模块计算时间戳，并作为请求链接的参数
base_url = 'https://careers.tencent.com/tencentcareer/api/post/Query?timestamp={}&keyword=python&pageIndex=1&pageSize=10&language=zh-cn&area=cnn'
headers = {
    'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36'
}
url = base_url.format(timestamp)
res = requests.get(url,headers)
content_dict = json.loads(res.content.decode('utf8'))
posts_data = content_dict['Data']['Posts']
for i in range(len(posts_data)):
    postname = posts_data[i]['RecruitPostName']
    catgoryname = posts_data[i]['CategoryName']
    respon = posts_data[i]['Responsibility'].replace("\n","")
    print(postname,catgoryname,respon)

 就可以拿到我们想要的内容了，输出如下：