腾讯社招职位(多线程+线程池)
>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>
version_1
声明:本内容仅学习参考,如有侵权,将立即删除
<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<
1、开发文档
域名:https://careers.tencent.com/search.html?index=1
返回数据:json
数据地址:https://careers.tencent.com/tencentcareer/api/post/Query?&countryId=1&pageIndex=1&pageSize=10&language=zh-cn&area=cn
数据地址分析:需要有countryId,area
要求:(1)招聘网站的中国地区职位名称、职位类别、招聘人数、工作地点、发布时间、以及每个职位详情的点击连接
分析:(1)formdata分析
0>method:get
1>关键字有:pageIndex,pageSize,timestamp
2>去掉pageIndex失效,相关参数
3>去掉pageSize失效,相关参数,默认为10,改写数字,返回相应数量数据,建议为默认值,构建获取api规则
4>去掉timestamp有效,非相关参数,有js生成,为时间戳,作用暂时未知,是否为反爬虫策略未知
5>countryId和area确定爬取的范围
(2)共有5573条中国地区职业数据
(3)headers分析
1>User-Agent,相关参数
2>referer:
https://careers.tencent.com/search.html?query=co_1&sc=1
https