从入门到入土：Python爬虫学习|实例练手|详细讲解|爬取腾讯招聘网|一步一步分析|异步加载|初级难度反扒处理|寻找消失的API来找工作吧

最新推荐文章于 2023-12-30 18:27:47 发布
最新推荐文章于 2023-12-30 18:27:47 发布
阅读量552 收藏 7
点赞数 3
分类专栏： 从入门到入土 Python菜鸟入门 Python爬虫 文章标签： python 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Q_U_A_R_T_E_R/article/details/120335702
版权
本文介绍了如何使用Python爬虫抓取腾讯招聘网站的数据。通过分析网页接口，发现数据以JSON格式异步加载。通过requests库获取接口数据，再利用json模块解析字典嵌套列表，提取职位信息，包括职位名称、国家、地点、部门、产品、类别、职责、更新时间和链接。最终实现了对数据的提取和输出。
摘要由CSDN通过智能技术生成

此博客仅用于记录个人学习进度，学识浅薄，若有错误观点欢迎评论区指出。欢迎各位前来交流。（部分材料来源网络，若有侵权，立即删除）
本人博客所有文章纯属学习之用，不涉及商业利益。不合适引用，自当删除！
若被用于非法行为，与我本人无关
仅用于学习交流，若用于商业行为或违法行为，后果自负

Python爬虫学习||爬取腾讯招聘网

情况说明

  • 爬取的目标为这儿
  • 是腾讯的招聘网站
  • 使用了一个新的思路

步骤说明

  • 元素寻找

  • 基本元素就是这样子
    在这里插入图片描述

  • 老规矩F12查看一下位置
    在这里插入图片描述

  • 然后尝试用requests基本方法获取网页html源码看看

def get_txzp():
    for i in range(1):
        url='https://careers.tencent.com/search.html'
        rs = requests.session()
        r = rs.get(url, headers=headers)
        r.encoding = 'utf-8'
        #soup = BeautifulSoup(r.content, 'lxml')
        #trees = etree.HTML(r.text)
        m=r.text
        print(r.text)

在这里插入图片描述

  • 运行之后，发现源码里说明都没有
  • 考虑可能是异步加载
  • 在F12界面刷新观看network的发送过来的包的内容
    在这里插入图片描述
  • 很好，没有加密
  • 那我们就直接访问这个接口看看是什么情况
    在这里插入图片描述
  • 试试看更换url爬取网页源码
import requests


headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36'}
def get_txzp():
    for i in range(1):
        url = 'https://careers.tencent.com/tencentcareer/api/post/Query?timestamp=1631625383162&countryId=&cityId=&bgIds=&productId=&categoryId=&parentCategoryId=&attrId=&keyword=&pageIndex={}&pageSize=10&language=zh-cn&area=cn'.format(
            i)

        rs = requests.session()
        r = rs.get(url, headers=headers)
        r.encoding = 'utf-8'
        #soup = BeautifulSoup(r.content, 'lxml')
        #trees = etree.HTML(r.text)
        m=r.text
        print(r.text)

get_txzp()

在这里插入图片描述

  • 基本该有的都有
  • 并且还是一个多层字典嵌套列表
  • 那就一层一层来
  • 不过可以确定的是不需要使用bs4以及etree等解析源码方式
  • 尝试使用字典提取“Data”
    在这里插入图片描述
  • 报错
  • 检查之后发现这是个字典，但不完全是个字典，因为它目前的形式是字符串
  • 所以我们通过json将这一串转换成字典使用
		m=r.text
        M = json.loads(m)
        a=type(m)
        A=type(M)
        print(a)
        print(A)

在这里插入图片描述

  • 转换成功
  • 进行依次提取
		m=r.text
        M = json.loads(m)
        M1 = M["Data"]
        M2 = M1['Posts']
        print(m)
        print(M1)
        print(M2)

在这里插入图片描述

  • 提取到M2是一个列表
  • 在这个列表下一层是每一组元素构成的字典
  • 那就先依次输出列表的元素
import json
import requests


headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36',
    'cookie':'_ga=GA1.2.741549489.1600008709; pgv_pvi=8093896704; pgv_pvid=378075616; _gcl_au=1.1.1666053754.1630843983; sensorsdata2015jssdkcross=%7B%22distinct_id%22%3A%22100011930117%22%2C%22first_id%22%3A%22e22e55959d05db4ed0929acd767433c8%40devS%22%2C%22props%22%3A%7B%22%24latest_traffic_source_type%22%3A%22%E4%BB%98%E8%B4%B9%E5%B9%BF%E5%91%8A%E6%B5%81%E9%87%8F%22%2C%22%24latest_search_keyword%22%3A%22%E8%85%BE%E8%AE%AF%E4%BA%91%22%2C%22%24latest_referrer%22%3A%22https%3A%2F%2Fwww.baidu.com%2Fother.php%22%2C%22%24latest_utm_medium%22%3A%22cpd%22%7D%2C%22%24device_id%22%3A%2217868f4b2442e6-0dbd0c103fbeda-5771031-1327104-17868f4b24578c%22%7D; loading=agree; UserCookie=b5e8696d89c9be7cc87d70e96edd126db7eb028fdd9de3cd81f85e53c10ccf0c; IsLogin=1'
}
def get_txzp():
    for i in range(1):
        url = 'https://careers.tencent.com/tencentcareer/api/post/Query?timestamp=1631625383162&countryId=&cityId=&bgIds=&productId=&categoryId=&parentCategoryId=&attrId=&keyword=&pageIndex={}&pageSize=10&language=zh-cn&area=cn'.format(
            i)

        rs = requests.session()
        r = rs.get(url, headers=headers)
        r.encoding = 'utf-8'
        #soup = BeautifulSoup(r.content, 'lxml')
        #trees = etree.HTML(r.text)
        m=r.text
        M = json.loads(m)
        M1 = M["Data"]
        M2 = M1['Posts']
        for j in M2:
            print(j)

get_txzp()

在这里插入图片描述

  • 按照字典名依次提取内容并保存在一个列表内输出
M1 = M["Data"]
        M2 = M1['Posts']
        for i in M2:
            data = []
          
            data.append(i['RecruitPostName'])
            data.append(i['CountryName'])
            data.append(i['LocationName'])
            data.append(i['BGName'])
            data.append(i['ProductName'])
            data.append(i['CategoryName'])
            data.append(i['Responsibility'])
            data.append(i['LastUpdateTime'])
            data.append(i['PostURL'])
            print(data)

在这里插入图片描述

  • 这边输出有点不太整齐，完整代码会整理一下

完整代码

from lxml import etree
from bs4 import BeautifulSoup
import requests
import json

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36',
    'cookie':'_ga=GA1.2.741549489.1600008709; pgv_pvi=8093896704; pgv_pvid=378075616; _gcl_au=1.1.1666053754.1630843983; sensorsdata2015jssdkcross=%7B%22distinct_id%22%3A%22100011930117%22%2C%22first_id%22%3A%22e22e55959d05db4ed0929acd767433c8%40devS%22%2C%22props%22%3A%7B%22%24latest_traffic_source_type%22%3A%22%E4%BB%98%E8%B4%B9%E5%B9%BF%E5%91%8A%E6%B5%81%E9%87%8F%22%2C%22%24latest_search_keyword%22%3A%22%E8%85%BE%E8%AE%AF%E4%BA%91%22%2C%22%24latest_referrer%22%3A%22https%3A%2F%2Fwww.baidu.com%2Fother.php%22%2C%22%24latest_utm_medium%22%3A%22cpd%22%7D%2C%22%24device_id%22%3A%2217868f4b2442e6-0dbd0c103fbeda-5771031-1327104-17868f4b24578c%22%7D; loading=agree; UserCookie=b5e8696d89c9be7cc87d70e96edd126db7eb028fdd9de3cd81f85e53c10ccf0c; IsLogin=1'
}

def get_txzp():
    for c in range(1,11):
        url='https://careers.tencent.com/tencentcareer/api/post/Query?timestamp=1631625383162&countryId=&cityId=&bgIds=&productId=&categoryId=&parentCategoryId=&attrId=&keyword=&pageIndex={}&pageSize=10&language=zh-cn&area=cn'.format(c)
        rs = requests.session()
        r = rs.get(url, headers=headers)
        r.encoding = 'utf-8'
        #soup = BeautifulSoup(r.content, 'lxml')
        #trees = etree.HTML(r.text)
        m=r.text
        M=json.loads(m)
        M1=M["Data"]

        M2=M1['Posts']

        for i in M2:
            print("="*300)
            data=[]
            #print(i)
            #print(i['RecruitPostName']+' '+i['CountryName']+' '+i['LocationName']+' '+i['BGName']+' '+i['ProductName']+' '+i[ 'CategoryName']+' '+i['Responsibility']+' '+i['LastUpdateTime']+' '+i['PostURL'])
            data.append(i['RecruitPostName'])
            data.append(i['CountryName'])
            data.append(i['LocationName'])
            data.append(i['BGName'])
            data.append(i['ProductName'])
            data.append(i[ 'CategoryName'])
            data.append(i['Responsibility'])
            data.append(i['LastUpdateTime'])
            data.append(i['PostURL'])

            for j in data:

                print(j)

if __name__ == "__main__":
    get_txzp()

实现结果

在这里插入图片描述

桃地睡不着
关注
专栏目录
用Python爬取腾讯招聘网岗位信息保存到表格，并做成简单可视化!为啥都是这种工作！
weixin_52994140的博客
08-20 961
代码运行展示 开发环境 Windows 10 python3.6 开发工具 pycharm 库 numpy、matplotlib、time、xlutils.copy、os、xlwt, xlrd, random 开发思路 1.打开腾讯招聘的网址右击检查进行抓包，进入网址的时候发现有异步渲染，我们要的数据为异步加载 2.构造起始地址： 参数在headers的最下面 timestamp: 1625641250509 countryId: cityId: bgIds: ...
从入门到入土：Lambda完整学习指南，包教包会！
Java笔记虾
12-09 5670
什么是Lambda表达式 Lambda表达式是Java SE 8中一个重要的新特性。lambda表达式允许你通过表达式来代替功能接口。lambda表达式就和方法一样,它提供了一个正常的参数列表和一个使用这些参数的主体(body,可以是一个表达式或一个代码块)。Lambda表达式还增强了集合库。 Java Lambda表达式的一个重要用法是简化某些匿名内部类（Anonymous Classes）...
爬虫腾讯招聘 目前腾讯招聘网页已经做了反爬虫的升级 ajax异步请求 目前只爬取了一页...
weixin_30677475的博客
08-02 500
import requestsheaders = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36' }def parse_url(): url ...
某Boss招聘网站的反反爬机制详解
山东大葱哥
04-26 9925
近日出于学习的目的对某Boss网站的反爬机制进行了分析和逆向，终于完全搞定了，记录总结下方便日后学习！ 本代码请仅用于 纯技术研究的 用途，请勿用于商业用途或 非法用途，如果因使用者非法使用造成的法律问题与本作者无关！ 涉及技术 核心js加密文件进行了全逆向，爬取方案不需要浏览器参与，纯 python+js 即可！ 本爬取方案最终通过Python实现了完全自动化爬取职位信息列表页，并存储到...
scrapy爬虫小练习-腾讯招聘信息爬取
KLordy的博客
10-28 327
创建scrapy项目，在cmd中找到需要创建项目的目录，运行scrapy startproject spidername即会自动创建好项目的目录结构，然后再在pycharm中打开即可。 这里我们需要尝试爬取腾讯招聘网站上的信息： 先依据以上创建爬虫:scrapy genspider tencent_hr tencent.com 创建完成后的目录结构如图所示 由于需要用到mongo存储爬取到的数...
python爬虫之以腾讯招聘为例，爬取动态页面
u014543416的博客
11-24 1875
以腾讯招聘网站为例，打开网站，搜索“python”，返回页面如下： 把鼠标光标放在我们要查询的岗位上，然后右键--->检查，点击network，然后刷新，其中XHR返回的便都是动态链接，其中不同于以往的网站，我们所要查找的数据不在response中，而是存放在preview中，如下图： 此时再查看齐请求链接，链接较长，其中有很多的参数，具体的参数都存放在Query String Parameters中，如下： 其中，timestamp为时间戳，10位表示秒（1970年1月1日 0时0..
Java 学习路线一条龙版
程序员阿红的博客
12-02 9369
Java 学习路线一条龙版 Java 学习路线一条龙版 by 程序员鱼皮 ???? + ???? = ???????? 学习路线来源于：程序员鱼皮，大家可以去b站看看他的视频。 视频导读：https://www.bilibili.com/video/BV1Qf4y1K7ff/ 大纲 路线特点 最新，完整一条龙的大厂 Java 学习路线，从入门到入土 同时适用于想全面学习 / 快速求职的同学，可以根据符号来定制自己的专属学习路线 给出目标、学习建议、关键知识点、最优资源以及各类资源推荐（视频、书籍、文
java学习路线
w18377940962的博客
02-08 6728
Java 学习路线 Java 学习路线一条龙版 by 程序员鱼皮 ???? + ???? = ???????? 建议先观看视频导读：https://www.bilibili.com/video/BV1Qf4y1K7ff/ 大纲 路线特点 最新，完整一条龙的大厂 Java 学习路线，从入门到入土 同时适用于想全面学习 / 快速求职的同学，可以根据符号来定制自己的专属学习路线 给出目标、学习建议、关键知识点、最优资源以及各类资源推荐（视频、书籍、文档、项目、工具等） 鱼皮自己是 Java 开发者，融入个
乔戈里推荐的新版Java学习路线，开源！
WantFlyDaCheng的博客
12-13 7635
Java 学习路线一条龙版 by 程序员鱼皮所以我又抽空做了新版的 Java 学习路线一条龙，补充了很多内容（比如面试题、常用 Java 类库、常用软件等），让整个路线 字数翻倍 。同时区...
python学习之路，从入门到入土.rar
07-30
一方面是因为它具有语法清晰、代码友好、易读性高的特点，同时Python拥有强大的第三方库函数，包括网络爬取、数据分析、可视化、人工智能等；另一方面Python既是一门解释性编程语言，又是面向对象的语言，其操作性...
python从入门到入土练习习题
05-30
Python是一种高级的、面向对象的编程语言，以其简洁的语法和强大的功能深受程序员喜爱。它可在多种平台上运行，包括Windows、Linux、Mac OS等，这体现了其高度的可移植性。Python模块是组织代码的一种方式，本质是....
python从入门到入土（1-3天）
最新发布
qq_51930560的博客
12-30 862
Python的历史1989年圣诞节：Guido von Rossum开始写Python语言的编译器。1991年2月：第一个Python编译器（同时也是解释器）诞生，它是用C语言实现的（后面），可以调用C语言的库函数。在最早的版本中，Python已经提供了对“类”，“函数”，“异常处理”等构造块的支持，还有对列表、字典等核心数据类型，同时支持以模块为基础来构造应用程序。1994年1月：Python 1.0正式发布。
从入门到入土：Python requests代理 proxy配置 HTTP
Q_U_A_R_T_E_R的博客
11-26 4683
此博客仅用于记录个人学习进度，学识浅薄，若有错误观点欢迎评论区指出。欢迎各位前来交流。（部分材料来源网络，若有侵权，立即删除） 本人博客所有文章纯属学习之用，不涉及商业利益。不合适引用，自当删除！ 若被用于非法行为，与我本人无关 Python requests代理 proxy配置 其实就是在请求中添加proxies 这边构造的时候就是写入代理IP和对应的端口 记得检查一下端口开了没有和代理情况 import requests proxies = { 'http': 'http://127.0
Python菜鸟入门:day01基础知识
Q_U_A_R_T_E_R的博客
07-07 2604
写在前面： 此博客仅用于记录个人学习进度，学识浅薄，若有错误观点欢迎评论区指出。欢迎各位前来交流。（部分材料来源网络，若有侵权，立即删除） Python学习:day01标识符注释行与缩进多行语句字符串等待用户输入Print输出 标识符 第一个字符必须是字母表中字母或下划线_ 其他部分有字母、数字和下划线组成。 大小写敏感 可使用中文作为变量名（非ASCII标识符也可）(与c语言无异） 注释 单行注释以#开头 #注释 print（"Hello world"）#注释 多行注释可用多个#号，还有"""
Python菜鸟入门：day06元组与字典
Q_U_A_R_T_E_R的博客
07-12 2426
写在前面： 此博客仅用于记录个人学习进度，学识浅薄，若有错误观点欢迎评论区指出。欢迎各位前来交流。（部分材料来源网络，若有侵权，立即删除） 传送门： day01 day02 day03 day04 day05 Python学习:day06Python元组访问元组修改元组删除元组元组运算符元组索引，截取元素内置函数len（tuple）max（tuple）min（tuple）tuple（iterable）关于元组是不可变的字典访问字典里的值修改字典删除字典中的元素字典键的特性字典内置函数&方法 Pyt
从入门到入土：Python实现爬取网易云歌词|评论生成词云图
Q_U_A_R_T_E_R的博客
11-29 2026
写在前面： 此博客仅用于记录个人学习进度，学识浅薄，若有错误观点欢迎评论区指出。欢迎各位前来交流。（部分材料来源网络，若有侵权，立即删除） Python实现爬取网易云歌词|评论生成词云图|歌曲下载免责声明情况说明效果展示代码讲解cookie歌曲ID获取评论获取歌单中的歌曲和ID获取歌词分词生成词云图主菜单最后的主函数代码展示 免责声明 代码仅用于学习，如被转载用于其他非法行为，自负法律责任 代码全部都是原创，不允许转载，转载侵权 情况说明 python爬虫 实现了对音乐歌词的爬取 实现了对评论的爬取并
Python菜鸟入门:day02知识分类
Q_U_A_R_T_E_R的博客
07-08 1887
写在前面： 此博客仅用于记录个人学习进度，学识浅薄，若有错误观点欢迎评论区指出。欢迎各位前来交流。（部分材料来源网络，若有侵权，立即删除） Python基本数据类型 多个变量赋值 标准数据类型 Number(数字） sequence(序列） String(字符串） List(列表） Tuple(元组) Set(集合) Dictionary(字典) Python 数据类型转换
从入门到入土：Python实现爬取某站视频|根据视频编号|支持通过视频名称和创作者名称寻找编号|以及python moviepy合并音频视频
Q_U_A_R_T_E_R的博客
01-12 1780
学习python，测试案例爬取某站的非侵权的视频，支持两种查询方式，以及音频视频合成
"学习Python基础：从入门到入土，99%的人为何放弃？真相揭秘！
有网友戏虐教科书，称之为“XXX从入门到入土，XXX从入门到放弃”。这句戏谑的话语背后，隐藏着许多人放弃学习编程的真相。其中，有99个人中便有99个选择了放弃。究其原因，或许就在于他们写错了第一个程序。第一课中...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值