爬取腾讯社招职位信息

最新推荐文章于 2020-09-02 13:57:20 发布

Norni

最新推荐文章于 2020-09-02 13:57:20 发布

阅读量557

点赞数

文章标签：队列 java python 大数据多线程

本文链接：https://blog.csdn.net/Norni/article/details/115714654

版权

本文档介绍了如何爬取腾讯社招职位信息，包括职位名称、类别、人数、地点和发布时间等。采用多线程和线程池技术，通过分析请求参数，利用队列存储数据，计划使用json或csv格式保存结果。

摘要由CSDN通过智能技术生成

腾讯社招职位(多线程+线程池)

>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>

version_1

声明：本内容仅学习参考，如有侵权，将立即删除

<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<

1、开发文档

域名：https://careers.tencent.com/search.html?index=1

返回数据：json
数据地址：https://careers.tencent.com/tencentcareer/api/post/Query?&countryId=1&pageIndex=1&pageSize=10&language=zh-cn&area=cn
数据地址分析：需要有countryId,area
要求：(1)招聘网站的中国地区职位名称、职位类别、招聘人数、工作地点、发布时间、以及每个职位详情的点击连接

分析：(1)formdata分析
　　　　0>method:get
　　　　1>关键字有：pageIndex,pageSize，timestamp
　　　　2>去掉pageIndex失效，相关参数
　　　　3>去掉pageSize失效，相关参数，默认为10，改写数字，返回相应数量数据，建议为默认值，构建获取api规则
　　　　4>去掉timestamp有效，非相关参数，有js生成，为时间戳，作用暂时未知，是否为反爬虫策略未知
　　　　5>countryId和area确定爬取的范围
　　　(2)共有5573条中国地区职业数据
　　　(3)headers分析
　　　　1>User-Agent，相关参数
　　　　2>referer:
　　　　　　　　https://careers.tencent.com/search.html?query=co_1&sc=1
　　　　　　　　https