爬虫实战——爬取腾讯招聘的职位信息（2020年2月2日）

最新推荐文章于 2024-08-02 09:46:03 发布

「已注销」

最新推荐文章于 2024-08-02 09:46:03 发布

阅读量2.9k

点赞数 2

分类专栏： Web Crawler 文章标签：网络爬虫

本文链接：https://blog.csdn.net/Deep___Learning/article/details/104145469

版权

本文介绍了如何使用网络爬虫抓取腾讯2020年2月2日发布的Java岗位招聘信息，包括获取PostId列表、爬取详情页面并存储为CSV文件。强调了程序健壮性和时间戳处理的重要性。

摘要由CSDN通过智能技术生成

思路分析

特别说明

本文以Java工作岗位信息为例进行说明，如果想爬取其他岗位的信息，更改URL请求中的关键字即可。方法仅供交流学习，不要用来做违法的事情。
在这里插入图片描述

1、获取PostId列表

由于网页中每一个职位都有一个PostId，而爬取职位的详情信息时，需要用到PostId来构造请求的URL，因此，我先将职位的PostId存放到列表中，为下一步爬取职位的详情信息做准备。

def get_url():
    # 爬取的页数，这里爬取前10页
    endIndex = 10
    postId = []
    for pageIndex in range(1, endIndex+1):
        query['timestamp'] = int(time.time())
        query['pageIndex'] = pageIndex
        url = raw_url.format(query['timestamp'], query['keyword'], query['pageIndex'], query['pageSize'],
                             query['language'], query['area'])
        try:
            r = requests.get(url, headers=headers)
        except :
            print("请求失败！")
            continue
        data_list = json.loads(r.text)['Data']['Posts']
        for item in data_list:
            postId