新手初试python爬取51job（前程无忧）的职位信息

最新推荐文章于 2024-07-09 14:45:02 发布
最新推荐文章于 2024-07-09 14:45:02 发布
阅读量2.3k 收藏 20
点赞数 2
分类专栏： python 爬虫 文章标签： 爬虫 51job python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42533103/article/details/103289855
版权
本文介绍了使用Python爬虫抓取51job网站上关于数据分析职位的基本信息，包括职位名称、公司、地点等，并详细解析了URL结构、请求过程及HTML解析方法，最后将数据保存到CSV文件。爬取过程中，每个职位间设置了0.5秒的延迟，整个程序运行约耗时2小时。
摘要由CSDN通过智能技术生成

目标：

搜索关键字：数据分析

地点： 北上广深

URL：https://search.51job.com/list/010000%252C020000%252C030200%252C040000,000000,0000,01,9,99,%25E6%2595%25B0%25E6%258D%25AE%25E5%2588%2586%25E6%259E%2590,2,1.html?lang=c&stype=&postchannel=0000&workyear=99&cotype=99&degreefrom=99&jobterm=99&companysize=99&providesalary=99&lonlat=0%2C0&radius=-1&ord_field=0&confirmdate=9&fromType=&dibiaoid=0&address=&line=&specialarea=00&from=&welfare=

有用部分为‘？’之前的，即：https://search.51job.com/list/010000%252C020000%252C030200%252C040000,000000,0000,01,9,99,%25E6%2595%25B0%25E6%258D%25AE%25E5%2588%2586%25E6%259E%2590,2,1.html

想要获取的信息为：

 

以及点击职位名进入详细信息中的：

 

这些数据并写入csv文件中。

分析：

1、url

‘https://search.51job.com/list/010000%252C020000%252C030200%252C040000,000000,0000,01,9,99,%25E6%2595%25B0%25E6%258D%25AE%25E5%2588%2586%25E6%259E%2590,2,1.html’

中‘

最低0.47元/天 解锁文章
坎沛尔麦斯达
关注
专栏目录
低不成高不就的现状？小伙用Python爬取百万招聘，找到满意工作
weixin_43649691的博客
12-21 2257
个人经历：低不成，高不就 依稀还记得15年刚出来工作那会，在第一个互联网公司实习，在公司听惯了身边人说公司这不好，那不好，作为新人的我深受影响，不知从何时开始就想快点结束实习期换一份更好的工作； 千盼万盼，终于迎来第二年的毕业，毕业后我也选择了大部分实习生的选择，没有再回到公司，在之后，懵懂的我终于迎来人生的第一次打击，在之后的两个月的时间，我开始在做比较，结果没有找到一家比上家更好的工作，由于当...
python爬取拉勾网_python爬取拉勾网职位数据
weixin_39782394的博客
12-04 406
今天写的这篇文章是关于python爬虫简单的一个使用，选取的爬取对象是著名的招聘网站——拉钩网，由于和大家的职业息息相关，所以爬取拉钩的数据进行分析，对于职业规划和求职时的信息提供有很大的帮助。完成的效果爬取数据只是第一步，怎样使用和分析数据也是一大重点，当然这不是本次博客的目的，由于本次只是一个上手的爬虫程序，所以我们的最终目的只是爬取到拉钩网的职位信息，然后保存到Mysql数据库中。最后中的效...
基于Python的51job招聘数据采集与可视化项目实践
最新发布
weixin_49081159的博客
07-09 1321
51job作为中国领先的招聘网站，汇集了海量的招聘信息，涵盖各行各业，提供了极为丰富的数据源。因此，使用Python进行数据采集和分析，不仅提高了效率，还可以利用多种数据分析和可视化工具，实现对招聘信息的全面解读。在本项目中，我们通过Python实现了51job招聘数据的采集与可视化，数据采集方面，使用json库逐行读取JSON文件，将招聘评论数据存储在列表中，并转换为Pandas DataFrame。通过这些改进，项目可以更加全面、准确地分析招聘市场动态，为求职者和招聘方提供更具价值的信息和决策支持。
Python——爬取赶集网招聘信息——求职信息--兼职工作信息
qq_36935391的博客
05-05 1440
#!/usr/bin/env python # -*- coding: utf-8 -*- from urllib import request from bs4 import BeautifulSoup req=request.Request("http://bj.ganji.com/"); req.add_header('User-Agent',"Mozilla/5.0 (Windows ...
python爬取前程无忧职位信息
liuzuoping的博客
01-04 5124
欢迎关注我的微信公众号：AI进阶者,每天分享技术干货 相信很多小伙伴都面临找工作的问题，本人目前正在魔都读研，也面临明年春招找实习秋招找工作等一系列问题，由于本人的专业为机械专业，结合今年的就业状况（车企不招机械毕业生只招计算机专业的学生），一个字——难呐！ 今天我们用python来爬取前程无忧上的职位信息，为找到好工作做好准备。 第一步：打开我们要分析的网站 第二步：用chrome...
python爬取boss直聘招聘信息_python 爬取boss直聘招聘信息实现
weixin_39672296的博客
12-04 857
url = 'https://www.zhipin.com/c101270100/?'header={'user-agent': 'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36','referer': '','coo...
用python爬取考研信息网_【高考、考研党的福利】使用Python爬取全国高校及GIS/RS专业信息【附代码和Excel】...
weixin_39875031的博客
11-30 837
题外话：前一段时间翻译了一部关于GIS的纪录片，然后发了一篇文章，没想到有这么多人感兴趣，为了让广大GISER知道有这部神片，遂想投稿至GIS相关的专栏，不曾想居然还没人开设，真是“绕树三匝，何枝可依”，于是开设了地理信息系统/遥感/定位导航（GIS/RS/GPS） - 知乎专栏，以便更好的学习与交流。欢迎大家的投稿！即将踏入六月，酷暑袭来，一场没有硝烟的战场号角即将吹响---高考，高三的学子们正...
Python爬取——目前考研招生学校的专业信息及考试范围
MAITTA的博客
05-28 3271
python来爬取2022年考研招生的全部学校，专业信息，考试范围，方便大家选择自己心仪的学校及专业
python爬取研究生招生网招生信息
wwxy1995的博客
03-26 7393
import requests from bs4 import BeautifulSoup from pandas.core.frame import DataFrame import re import time class Graduate: def __init__(self, province, category): self.head = { ...
python爬取豆瓣电影评论_python 爬取豆瓣电影评论，并进行词云展示及出现的问题解决办法...
weixin_39586683的博客
11-23 1187
def getHtml(url):"""获取url页面"""headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36'}req = urllib.request.Request(url,h...
python爬取前程无忧招聘信息
07-23
可以自选要爬取得页数，并将爬得的数据存放到本地表格中
翻页爬取网页版前程无忧的职位相关信息，生成一个Excel表格
04-05
翻页爬取网页版前程无忧的职位相关信息，每一个大概有50条岗位信息，首页展示的只有职位名，公司名，工作地点的部分信息，薪资以及发布日期。对于找工作来说，我希望看到的还有： 　　　　公司具体地址： 如果离家太远，上下班会比较花时间。 　　　　工作经验要求：判断自身经验是否达到要求 　　　　同一个公司职位发布条数：判断是否为虚假招聘，有很多虚假招聘的公司，大量发布类似招聘信息。 　　最后，我选择的爬取内容为为：岗位名，公司名，经验要求，公司详细地址，岗位薪资，招聘详细信息页面url。
Python爬虫爬取招聘数据和代码.zip
05-07
资源内容是利用Python的爬虫技术，自动爬取和批量下载与Python相关的招聘数据，资源内附完整的爬虫代码，并且转成了exe应用程序
Python爬虫——4.5urllib2和xpath爬取前程无忧网招聘信息
编程我在行
01-15 1173
# coding:utf-8 ''' 使用urllib2模块进行数据采集，使用XPath进行数据筛选,使用随机免费代理 ''' # 引入需要的模块 import urllib2 from lxml import etree import random # 免费代理列表 proxy_list = [{"http":"116.8.83.3:8118"}, {"http":"116.8.83.3:
抓取前程无忧招聘信息
热门推荐
panyuteng的博客
09-19 9万+
抓取前程无忧招聘信息 本文通过分析前程无忧的相关规则，通过python来抓取相关的招聘信息，并通过redis缓存相关信息，实现增量抓取。 相关技术 python3.6 requests redis mysql 分析url构造 页面规则分析 打开前程无忧招聘网站，由于本人从事的爬虫工作，故此以爬虫作为搜索的工作，分析其url构造规则： 由上面url可得，上图中的2,4中的4作为页码，变化不...
python爬取前程无忧招聘岗位信息
MarineWJ的博客
04-24 1759
######################首先使用requests获取前程无忧一级网页 import requests from lxml.etree import HTML import re import time page=1 while True: url=‘https://search.51job.com/list/020000,000000,0000,01,2,99,%2B,2,{}...
51job（前程无忧官网）1万条招聘信息的爬取
golden_knife的博客
07-01 7330
以51job网上爬取的一万条电商类招聘信息为样本，具体分析该行业的就业前景、工作地点、平均薪资和任职要求等 本文主要通过词云图和可视化图表对数据进行展示描述 1.先上样本信息图（由于太多，只截了一部分） 第一张图包括了职位名称、公司名称、工作地点、薪资、发布时间（公司的发布时间，我爬的时候是2020.6.24号）和详情页的url链接；第二张图中就是链接网页的具体内容，描述了该岗位的工作信息和任职要求 。 以下数据可视化全部基于上述爬取的样本信息。 2.词云图展示 （1）工作岗位 通过对职位名称图的观
Python爬取网站职位信息
UniqueChunBlog
11-26 523
# -*- coding = utf-8 -*- import requests from bs4 import BeautifulSoup as bs """ 爬取51job里面的工作岗位，公司名称，工作地点，薪资，发布时间 """ url = "http://search.51job.com/jobsearch/search_result.php?fromJs=1&jobarea=020000
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值