爬虫 | 爬取拉勾网python岗位信息(超详细)

最新推荐文章于 2024-05-08 15:47:56 发布
最新推荐文章于 2024-05-08 15:47:56 发布
阅读量817 收藏 6
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43189702/article/details/103513092
版权

前言

先上一波爬取的结果：


数据库中部分截图

实战

引入类库

import requests
from requests.exceptions import RequestException
import json
from urllib.parse import urlencode
import pymongo
import numpy as np
import time

分析页面请求

在搜索框中键入python

打开调试模式，查看代码

  • 查看上图返回的结果，没有找到在页面上看到的信息，判断可能是Ajax异步加载的数据我们刷新页面重新查找，切换到XHR选项卡，可以看到页面请求但会了一堆JSON数据，其中就包含了我们需要的信息。

    切换XHR选项卡
    查看返回的信息

  • 构建Header
    我们可以看到页面请求中，请求头的参数有很多其实并不是所有的参数都是我们需要的，我们可以使用Postman对构建的请求进行测试。(postman官网下载需要FQ，后台回复「postman」获取安装包)

    postman的使用还有很多可以自行百度下

按照postman测试出来的结果我们可以构建以下代码

# 构建headers
headers = {
    'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.146 Safari/537.36',
    'Referer': 'https://www.lagou.com/jobs/list_python?labelWords=&fromSearch=true&suginput=',
}

因为拉勾的反爬措施比较恶心，一个header满足不了我们了，所以我去github粘贴了一些。就成了以下这样：

# 构建headers,从这个列表里随机获取header
hds = [{
    'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36',
    'Referer': 'https://www.lagou.com/jobs/list_python?labelWords=&fromSearch=false&suginput=',
},{    'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.146 Safari/537.36',
    'Referer': 'https://www.lagou.com/jobs/list_python?labelWords=&fromSearch=true&suginput=',
},{    'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36',
    'Referer': 'https://www.lagou.com/jobs/list_python?labelWords=&fromSearch=false&suginput=',
},{    'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
    'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6',
    'Referer': 'https://www.lagou.com/jobs/list_python?labelWords=&fromSearch=false&suginput=',
},{    'User-Agent':'Mozilla/5.0 (Windows NT 6.2) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.12 Safari/535.11',
    'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
    'Referer': 'https://www.lagou.com/jobs/list_python?labelWords=&fromSearch=false&suginput=',
},{'User-Agent': 'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.2; Trident/6.0)',
    'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
    'Referer': 'https://www.lagou.com/jobs/list_python?labelWords=&fromSearch=false&suginput=',
}]
# 请求每一页的链接，根据页数和header列表长度的余数随机取header的值
def get_index_page(url,page):
    try:
        reponse = requests.get(url, headers=hds[page%len(hds)])
        if reponse.status_code == 200:
            return reponse.text
        return None
    except RequestException:
        print('请求职位列表页错误')
        return None

虽然代码丑是丑了点但是还是蛮好用的。

  • 解析数据
    我们通过postman可以看到我们请求出来的数据结构是下面这个样的：

content -> positionResult -> result
result列表里面包含我们要的公司信息，职位信息等等

根据以上的数据结构我们可以通过获取字典键值就可以很方便的获取到想要的数据字段了。

# 解析列表页
def parse_job_page(response):
    result = json.loads(response)
    if result:
        jobs = result['content']['positionResult']['result']
        for job in jobs:
            company_name = job['companyFullName']
            city = job['city']
            financ = job['financeStage']
            job_name = job['positionName']
            job_year = job['workYear']
            job_createtime = job['createTime']
            job_salary = job['salary']
            job_data = {
                'company_name': company_name,
                'city': city,
                'financ': financ,
                'job_name': job_name,
                'job_year': job_year,
                'job_createtime': job_createtime,
                'job_salary': job_salary
            }
            if job_data:
                save_to_mongo(job_data)

之后的步骤其实就是结构化数据，数据入库，这里要提一下的就是，本篇存储到的MongoDB数据库(我承认是我偷懒了，没学好MySQL)
这里po下全部的代码。

import requests
from requests.exceptions import RequestException
import json
from urllib.parse import urlencode
import pymongo
import numpy as np
import time
from config import *

client = pymongo.MongoClient(MONGO_URL, connect=False)
db = client[MONGO_DB]

# headers = {
#     'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
#     'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.146 Safari/537.36',
#     'Referer': 'https://www.lagou.com/jobs/list_python?labelWords=&fromSearch=true&suginput=',
# }
# 构建headers,从这个列表里随机获取header
hds = [{
    'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36',
    'Referer': 'https://www.lagou.com/jobs/list_python?labelWords=&fromSearch=false&suginput=',
},{    'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.146 Safari/537.36',
    'Referer': 'https://www.lagou.com/jobs/list_python?labelWords=&fromSearch=true&suginput=',
},{    'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36',
    'Referer': 'https://www.lagou.com/jobs/list_python?labelWords=&fromSearch=false&suginput=',
},{    'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
    'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6',
    'Referer': 'https://www.lagou.com/jobs/list_python?labelWords=&fromSearch=false&suginput=',
},{    'User-Agent':'Mozilla/5.0 (Windows NT 6.2) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.12 Safari/535.11',
    'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
    'Referer': 'https://www.lagou.com/jobs/list_python?labelWords=&fromSearch=false&suginput=',
},{'User-Agent': 'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.2; Trident/6.0)',
    'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
    'Referer': 'https://www.lagou.com/jobs/list_python?labelWords=&fromSearch=false&suginput=',
}]


# 构建请求链接
def make_url(page):
    formdata = {
        'needAddtionalResult': 'false',
        'first': 'true',
        'pn': page,
        'kd': 'python'
    }
    url = u'https://www.lagou.com/jobs/positionAjax.json?' + urlencode(formdata)
    return url

# 构建每一页的链接
def get_index_page(url,page):
    try:
        reponse = requests.get(url, headers=hds[page%len(hds)])
        if reponse.status_code == 200:
            return reponse.text
        return None
    except RequestException:
        print('请求职位列表页错误')
        return None

# 解析列表页
def parse_job_page(response):
    result = json.loads(response)
    if result:
        jobs = result['content']['positionResult']['result']
        for job in jobs:
            company_name = job['companyFullName']
            city = job['city']
            financ = job['financeStage']
            job_name = job['positionName']
            job_year = job['workYear']
            job_createtime = job['createTime']
            job_salary = job['salary']
            job_data = {
                'company_name': company_name,
                'city': city,
                'financ': financ,
                'job_name': job_name,
                'job_year': job_year,
                'job_createtime': job_createtime,
                'job_salary': job_salary
            }
            if job_data:
                save_to_mongo(job_data)


# 保存到mongoDB数据库
def save_to_mongo(result):
    if db[MONGO_TABLE].insert(result):
        print('存储到mongoDB成功', result)
        return True
    return False


# 用np.random.rand()生成随机数用来sleep模拟人访问的操作
def main():
    for page in range(GROUP_START, GROUP_END + 1):
        time.sleep(np.random.rand() * 20)
        url = make_url(page)
        response = get_index_page(url,page)
        if response:
            parse_job_page(response)


if __name__ == '__main__':
    main()

留心

  • 主要是写给自己的
    解析页面的部分，如果出现被反爬,会出现报错，异常捕捉部分没有处理好，日后在写功能模块的时候要记得带上。
    代码结构可以再优化，较多代码冗余。

尾言

代码还有很多需要改进的地方，咸鱼也在不断学习希望能给大家带来更好的内容，如果我好几天没更了，一定是在学习。 后台回复「技巧」

往期推荐

python入门看这篇就够了

咸鱼普拉思

一只咸鱼在编程路上的摸爬滚打,记录摸索中的点点滴滴。

咸鱼学 Python
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
拉勾网的职位信息爬取（详细）
Best_fish的博客
11-16 2058
1.进入拉钩网，（调到注册页可删掉url详情后缀直接登陆主页）   2.选定一个城市一种职位，分析一下页面，发现点击第一页第二页换页时url地址栏并未发生变化，可以判断是ajax发送的请求，且显示是post请求 拿到实际的请求地址，并构造查询字符串和请求体内容 https://www.lagou.com/jobs/positionAjax.json?gj=3%E5%B9%B4%E5...
python爬虫爬取拉勾网职业信息
热门推荐
lpty的博客
02-03 2万+
一、前言 最近想做一份关于拉勾网数据分析类职业的报告，便顺手写了个简单的爬虫，记录分享如下。 二、思路整理 1、首先我们打开拉勾网，并搜索“”数据分析“”，显示出来的职位便是我们的目标 2、接下来我们需要确定，怎样将信息提取出来 (1)查看页面源代码，这时候发现，页面源码里面找不到职位相关信息，这证明拉勾网关于职位的信息是异步加载的，这也是一种很常用的技术 (2)异步加载的信息，我们需
python爬虫：从拉勾网爬取数据分析职位信息
2302_76597285的博客
05-08 645
定义一个名为# 构建请求头',# 用data进行分页爬取data = {'pn': i,'kd': '数据分析'# 请求网页time.sleep(3) # 休息一下# json.loads 用于解码 JSON 数据。该函数返回 Python字段的数据类型# 获取15条数据# 获取每条招聘岗位里面的详细信息position_name = i['positionName'] # 职位名称company_full_name = i['companyFullName'] # 公司名称。
python爬虫：爬取拉勾网职位并分析
2301_76225520的博客
04-01 610
🍅 硬核资料：关注即可领取PPT模板、简历模板、行业经典书籍PDF。🍅 技术互助：技术群大佬指点迷津，你的问题可能不是问题，求资源在群里喊一声。🍅 面试题库：由技术群里的小伙伴们共同投稿，热乎的大厂面试真题，持续更新中。🍅 知识体系：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、Python、前端等等。上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Python开发知识点，真正体系化！**
Python爬虫--爬取拉勾网数据
m0_37786014的博客
05-13 2133
代码一： 将爬取回来的所有数据，加上根据不同的值生成的hash值一起存入mongo，为了防止再次爬数据的时候重复提交数据，加入了存入数据库之前的数据验证（即存入数据库之前验证数据库中是否已经存在该hash值） #coding=utf-8 import requests,pymongo,math,json import sys,re,ConfigParser,random import numpy...
网络爬虫 之 PhantomJS技术实战
05-17
本课程使用java作为编程语言，主要内容包括爬虫的基本原理，使用Phantomjs技术抓取拉钩企业招聘信息进行系统分析、Phantomjs的详细使用方法，如何使用Phantomjs分析html代码，基于队列的爬虫、数据存储、数据拆分、爬虫限速、网页跟踪，脚本注入等技术。任务作业：请抓取拉钩企业招聘数据进行企业岗位数据分析实战《各大城市招聘状况分析》。（注意： 作业需写在CSDN博客中，请把作业链接贴在评论区，老师会定期逐个批改~~）
Python爬虫实例——scrapy框架爬取拉勾网招聘信息
09-16
在本篇【Python爬虫实例——scrapy框架爬取拉勾网招聘信息】中，我们将探讨如何使用Python的Scrapy框架来抓取拉勾网上的Python相关职位信息。首先，我们需要理解整个爬取流程和分析思路。 1. **分析查询结果页**： ...
python爬虫之爬取拉勾网职位信息
12-21
本示例中，我们探讨了如何使用Python编写一个爬虫程序，从拉勾网（一家专注于互联网职业招聘的平台）上抓取职位信息。这个爬虫的目的是收集如公司名、职位名称、公司规模、行业类别等关键数据，并将它们存储到CSV...
爬取网站职位_爬虫_爬取拉勾网_拉勾网_职位_
10-03
综上所述，"爬取网站职位_爬虫_爬取拉勾网_拉勾网_职位_"这个项目涵盖了网络爬虫的基本原理、网页解析、延迟策略、数据存储以及可能的数据分析等多个方面，是学习和实践Web爬虫技术的好案例。通过阅读和理解《爬取...
Python爬虫项目之爬取拉勾网数据.zip
最新发布
05-30
在本项目中，我们将深入探讨如何使用Python进行网络爬虫，特别关注于爬取拉勾网（Lagou.com）的数据。拉勾网是中国一家知名的招聘网站，提供了大量的职位信息，对于数据分析、市场研究或是个人求职都具有很高的价值...
爬虫练习-拉勾网
07-06
从拉勾网上爬取特定岗位的招聘信息，并将爬取的结果传输到MySQL数据库中。
python爬取拉勾网职位数据的方法
09-20
主要介绍了python爬取拉勾网职位数据的实现方法，非常不错，具有参考借鉴价值,需要的朋友可以参考下
爬取拉勾网的数据并保存到excel中
10-25
这个例子用python爬取拉勾网上的数据，并保存到excel中，注意header中的数据最好自己用浏览器得到，并替换一下。
2020-08-18日爬取拉勾网java和python所有职业信息进行数据分析汇总并可视化展示
qq_38546597的博客
08-20 986
2020-08-18日爬取拉勾网java和python所有职业信息（具体爬虫看上一篇博客）链接地址 本文爬取到的数据集可以在git上下载，地址如下： 数据集和源码下载 效果展示： 由于保存的图片格式是svg,博客不能上传，这里只截了图。 两种类型公司在全国分布 ** 各城市给出的平均工资 全国的平均工资分布 公司规模和平均工资关系图 这里java中爬取到的数据有些公司给出的工资不正常导致曲线有部分不正常，在图片中标出了 工资随着工作年限的变化 java中要求10年年限的公司一家而且给出的工资较低，没
python爬取拉勾网职位信息
weixin_44783823的博客
05-19 497
首先，明确目标：我爬取的是python职位的前10页数据 然后，找到自己需要的数据并获取地址： 其次，先爬取1页是数据（请求头、获取数据）： import json import requests import pprint import time url = 'https://www.lagou.com/jobs/positionAjax.json' params = 'px=default&needAddtionalResult=false' data = { 'first': '
Python爬虫——拉勾网职位信息爬取
weixin_44153870的博客
12-26 838
Python爬虫——拉勾网职位信息爬取 学号：16310320326 姓名：张林 **基本原理** Python爬虫基本要具备以下功能
python岗位有哪些 python工作内容有哪些
08-08 2728
最近，有很多人说python是非常容易入门的一门语言，一般来说，只要你会简单的读写英语。那么Python中出现的单词对你来说基本上是piece of cake。学过Python的小伙伴们都知道，Python不但入门容易，而且随着自己编程能力的提升，也可以编写那些非常非常复杂的程序，慢慢的向Python大佬进阶。今天，小编就简单说说python岗位以及工作内容主要哪些? python开发相关企业热搜职位： python开发工程师、python高级工程师、Web网站开发工程师、Python自动化测试、Linu
请帮我写一个爬取拉勾网职位信息的爬虫代码
04-23
好的，我可以帮你写一个Python的爬虫代码，使用requests和BeautifulSoup库来爬取拉勾网的职位信息。以下是代码： ```python import requests from bs4 import BeautifulSoup def get_job_info(url): response = ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值