python爬取boss直聘招聘信息_python 爬取boss直聘招聘信息实现

于 2020-12-04 11:34:27 发布
阅读量816 收藏
点赞数
文章标签： python爬取boss直聘招聘信息

url = 'https://www.zhipin.com/c101270100/?'header={'user-agent': 'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36','referer': '','cookie':'lastCity=101270100; _uab_collina=155876824002955006866925; t=DPiicXvgrhx7xtms; wt=DPiicXvgrhx7xtms; sid=sem_pz_bdpc_dasou_title; __c=1559547631; __g=sem_pz_bdpc_dasou_title; __l=l=%2Fwww.zhipin.com%2F%3Fsid%3Dsem_pz_bdpc_dasou_title&r=https%3A%2F%2Fsp0.baidu.com%2F9q9JcDHa2gU2pMbgoY3K%2Fadrc.php%3Ft%3D06KL00c00fDIFkY0IWPB0KZEgsZb1OwT00000Kd7ZNC00000JqHYFm.THdBULP1doZA80K85yF9pywdpAqVuNqsusK15yF9m1DdmWfdnj0sm1PhrAf0IHYYnD7aPH9aPRckwjRLrjbsnYfYfWwaPYwDnHuDfHcdwfK95gTqFhdWpyfqn1czPjmsPjnYrausThqbpyfqnHm0uHdCIZwsT1CEQLILIz4lpA-spy38mvqVQ1q1pyfqTvNVgLKlgvFbTAPxuA71ULNxIA-YUAR0mLFW5HRvnH0s%26tpl%3Dtpl_11534_19713_15764%26l%3D1511867677%26attach%3Dlocation%253D%2526linkName%253D%2525E6%2525A0%252587%2525E5%252587%252586%2525E5%2525A4%2525B4%2525E9%252583%2525A8-%2525E6%2525A0%252587%2525E9%2525A2%252598-%2525E4%2525B8%2525BB%2525E6%2525A0%252587%2525E9%2525A2%252598%2526linkText%253DBoss%2525E7%25259B%2525B4%2525E8%252581%252598%2525E2%252580%252594%2525E2%252580%252594%2525E6%252589%2525BE%2525E5%2525B7%2525A5%2525E4%2525BD%25259C%2525EF%2525BC%25258C%2525E6%252588%252591%2525E8%2525A6%252581%2525E8%2525B7%25259F%2525E8%252580%252581%2525E6%25259D%2525BF%2525E8%2525B0%252588%2525EF%2525BC%252581%2526xp%253Did(%252522m3224604348_canvas%252522)%25252FDIV%25255B1%25255D%25252FDIV%25255B1%25255D%25252FDIV%25255B1%25255D%25252FDIV%25255B1%25255D%25252FDIV%25255B1%25255D%25252FH2%25255B1%25255D%25252FA%25255B1%25255D%2526linkType%253D%2526checksum%253D8%26wd%3Dboss%25E7%259B%25B4%25E8%2581%2598%26issp%3D1%26f%3D3%26ie%3Dutf-8%26rqlang%3Dcn%26tn%3Dbaiduhome_pg%26oq%3D%2525E5%25258D%25259A%2525E5%2525AE%2525A2%2525E5%25259B%2525AD%26inputT%3D9649%26prefixsug%3Dboss%26rsp%3D0&g=%2Fwww.zhipin.com%2F%3Fsid%3Dsem_pz_bdpc_dasou_title; Hm_lvt_194df3105ad7148dcf2b98a91b5e727a=1558768262,1558768331,1559458549,1559547631; JSESSIONID=A0FC9E1FD0F10E42EAB681A51AC459C7;'

'__a=86180698.1558768240.1559458549.1559547631.63.3.6.6; Hm_lpvt_194df3105ad7148dcf2b98a91b5e727a=1559551561'

'referer: https://www.zhipin.com/c101270100/?query=python&page=2&ka=page-2'}

query='python'page=1

whileTrue:print("开始第：{} 页".format(page))

purl=url+'query='+query+'&page='+str(page)+'&ka=page-'+str(page)

workInfos=getWorkInfos(purl, header)if len(workInfos)==0:print('结束爬取!')breaktoDatabase(workInfos)

page=page+1

weixin_39672296
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python爬虫实战 - 抓取BOSS直聘职位描述 和 数据清洗_job-sec-text
m0_60635224的博客
04-30 404
这是我花了几天的时间去把Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。基本上主流的和经典的都有，这里我就不放图了，版权问题，个人看看是没有问题的。作者：jtahstu。
0514基于Python爬取Boss直聘数据.zip
05-14
【标题】"0514基于Python爬取Boss直聘数据.zip" 提供了一个学习案例，涉及使用Python编程语言来抓取Boss直聘网站上的招聘信息。这个压缩包可能包含了一系列的代码文件，用于演示如何利用Python进行网络爬虫的开发。 ...
python脚本爬取boss直聘JD信息
01-09
Python脚本爬取Boss直聘JD信息是一种常见的网络数据抓取技术，主要应用于数据分析、市场研究和招聘领域。Boss直聘作为一个在线招聘平台，提供了大量的职位信息，通过编写Python爬虫，我们可以自动化地获取这些信息，...
基于Python实现boss直聘招聘信息爬取源码(Python大作业).zip
12-20
基于Python实现boss直聘招聘信息爬取源码(Python大作业).zip基于Python实现boss直聘招聘信息爬取源码(Python大作业).zip基于Python实现boss直聘招聘信息爬取源码(Python大作业).zip基于Python实现boss直聘招聘信息...
BOSS直聘Python相关招聘岗位数据可视化
04-22
BOSS直聘Python相关招聘岗位数据可视化
Scrapy框架爬取Boss直聘网Python职位信息的
09-19
今天小编就为大家分享一篇关于Scrapy框架爬取Boss直聘网Python职位信息的源码，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧
JNDIExploit使用
07-29
一款用于 JNDI注入利用的工具，大量参考/引用了 Rogue JNDI项目的代码，支持直接植入内存shell，并集成了常见的bypass 高版本JDK的方式，适用于与自动化工具配合使用。 使用说明 使用 java -jar JNDIExploit.jar -h查看参数说明，其中 --ip参数为必选参数 Usage: java -jar JNDIExploit.jar [options] Options: * -i, --ip Local ip address -l, --ldapPort Ldap bind port (default: 1389) -p, --httpPort Http bind port (default: 8080) -u, --usage Show usage (default: false) -h, --help Show this help Dockerfile git clone https://github.com/feihong-cs/JNDIExploit.git cd ./JN
基于MATLAB的人体行为识别.zip
最新发布
07-29
在MATLAB中，可以使用机器学习和计算机视觉技术来实现人体行为识别。下面是一个基本的人体行为识别过程的程序： 1. 数据收集和准备： - 收集包含不同人体行为的视频数据。 - 使用视频处理技术提取每个视频中的人体姿势和关键点信息。 2. 特征提取： - 使用计算机视觉技术，如OpenPose或者其他姿势估计算法，提取每个视频中的人体关键点位置。 - 根据关键点位置计算特征向量，例如关节角度、运动速度等。 3. 数据标记和标签： - 根据人体行为类型，对收集的数据进行标记和分类，例如步行、跑步、打球等。 - 为每个人体行为类型分配一个标签。 4. 训练模型： - 使用机器学习算法，如支持向量机（SVM）、决策树、深度神经网络等，对标记和分类的数据进行训练。 - 使用训练数据和标签训练模型，以学习不同行为类型之间的关系。 5. 测试和识别： - 使用训练好的模型对新的测试数据进行预测和识别。 - 输入测试数据的特征向量到训练好的模型中，根据模型的输出来确定人体行为类型。 6. 评估和改进： - 根据测试结果评估
【创新未发表】Matlab实现蝗虫优化算法GOA-Kmean-Transformer-BiLSTM组合状态识别算法研究.rar
07-29
1.版本：matlab2014/2019a/2021a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 5.作者介绍：某大厂资深算法工程师，从事Matlab算法仿真工作10年；擅长智能优化算法、神经网络预测、信号处理、元胞自动机等多种领域的算法仿真实验，更多仿真源码、数据集定制私信+。 替换数据可以直接使用，注释清楚，适合新手
【SCI一区】Matlab实现向量加权平均算法INFO-CNN-LSTM-Attention的风电功率预测算法研究.rar
07-29
1.版本：matlab2014/2019a/2021a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 5.作者介绍：某大厂资深算法工程师，从事Matlab算法仿真工作10年；擅长智能优化算法、神经网络预测、信号处理、元胞自动机等多种领域的算法仿真实验，更多仿真源码、数据集定制私信+。 替换数据可以直接使用，注释清楚，适合新手
5份个人单页简历素材-清新单页.zip
07-29
【简历模板】工作总结、商业计划书、述职报告、读书分享、家长会、主题班会、端午节、期末、夏至、中国风、卡通、小清新、岗位竞聘、公司介绍、读书分享、安全教育、文明礼仪、儿童故事、绘本、防溺水、夏季安全、科技风、商务、炫酷、企业培训、自我介绍、产品介绍、师德师风、班主任培训、神话故事、巴黎奥运会、世界献血者日、防范非法集资、3D快闪、毛玻璃、人工智能等等各种样式的ppt素材风格。 设计模板、图片素材、PPT模板、视频素材、办公文档、小报模板、表格模板、音效配乐、字体库。 广告设计：海报，易拉宝，展板，宣传单，宣传栏，画册，邀请函，优惠券，贺卡，文化墙，标语，制度，名片，舞台背景，广告牌，证书，明信片，菜单，折页，封面，节目单，门头，美陈，拱门，展架等。 电商设计：主图，直通车，详情页，PC端首页，移动端首页，钻展，优惠券，促销标签，店招，店铺公告等。 图片素材：PNG素材，背景素材，矢量素材，插画，元素，艺术字，UI设计等。 视频素材：AE模板，会声会影，PR模板，视频背景，实拍短片，音效配乐。 办公文档：工作汇报，毕业答辩，企业介绍，总结计划，教学课件，求职简历等PPT/WORD模板。
【创新未发表】Matlab实现星雀优化算法NOA-Kmean-Transformer-BiLSTM组合状态识别算法研究.rar
07-29
1.版本：matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 5.作者介绍：某大厂资深算法工程师，从事Matlab算法仿真工作10年；擅长智能优化算法、神经网络预测、信号处理、元胞自动机等多种领域的算法仿真实验，更多仿真源码、数据集定制私信+。 替换数据可以直接使用，注释清楚，适合新手
和语音活动检测相关的数据集
07-29
语音活动检测数据集 数据说明： 语音活动检测任务可以区分出现人类语音和其他类型声音(如沉默和声)的信号段。 它是许多语音/音频应用的起点，包括语音编码，语音识别和语音增强。 由于这类任务没有特定的公共数据集，所以该数据集是从三个不同的数据库收集的719个音频。包括： ·TIMIT:是一个读语音语资料库，旨在为声学和语音研究提供语音数据，并评估自动语音识别系统。 · PTDB-TUG:是一个用于音高跟踪的语音数据库，提供20个讲英语者的麦克风信号。 ·Noizeus:包含30个句子的语音数据。噪音信号被人为添加到语音信号中，特别是该数据库包含被胡言乱语(人群)、街道、火车、火车站、汽车和餐馆噪音破坏的音频，SNR为5分贝，以及原始噪音。
刚体不稳定自由旋转的简单MATLAB仿真-SpinSpin-四元数- v2-MATLAB
07-29
旋转物体运动学是基于“标量第一单位四元数”的。 项目“SpinSpin_Quaternion_v1”与此项目类似。 项目“SpinSpin_RotationVector”与此项目类似，但基于“RotationVector”。 标量第一单位四元数定义： 标量第一单位四元数是长度为4的一维行或列向量。 使用Matlab的“ode45”函数求解常微分方程（ODE），应用Dorman-Prince 4（5）显式嵌入式自适应时间步长龙格-库塔方法。 Matlab“ode45”函数中的误差限制设置为10-13。
AI绘画介绍及应用场景.pdf
07-29
AI绘画的应用场景非常广泛。在艺术创作领域，AI可以为艺术家提供灵感和创作素材，帮助他们探索新的艺术风格和表现手法。同时，AI绘画也可以用于游戏、动画、电影等娱乐产业的视觉制作中，提高制作效率和降低成本。此外，AI绘画还可以用于教育、医疗等领域，为学生提供更加直观、生动的学习材料，为医生提供更加准确的诊断依据。
html+css+js作业王者荣耀司空震1个页面.zip
07-29
预览地址：https://blog.csdn.net/qq_42431718/article/details/140774765 王者荣耀司空震1个页面（带js）有轮播图
适用于一些手游的Auto.js自动脚本 (楚留香,原神,天涯明月刀,光遇,逆水寒手游)(自动弹琴,演奏,喊话,发消息)
07-29
autojs
基于python+django+mysql深度学习的音乐推荐方法研究系统(含论文、答辩PPT）
07-29
详见：https://blog.csdn.net/Timi2019/article/details/140774995 系统介绍： 该资源是一个基于Python和Django框架的深度学习音乐推荐系统的源码数据库，主要适用于毕业设计或相关项目开发。这个系统利用了现代机器学习技术，特别是深度学习，来为用户提供个性化的音乐推荐，提升用户体验。接下来，我们将深入探讨其中涉及的关键知识点。 运行环境： 数据库：MySQL 8.0.26 Python版本：3.7
【创新未发表】Matlab实现减法平均优化算法SABO-Kmean-Transformer-LSTM负荷预测算法研究.rar
07-29
1.版本：matlab2014/2019a/2021a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 5.作者介绍：某大厂资深算法工程师，从事Matlab算法仿真工作10年；擅长智能优化算法、神经网络预测、信号处理、元胞自动机等多种领域的算法仿真实验，更多仿真源码、数据集定制私信+。 替换数据可以直接使用，注释清楚，适合新手
python爬取boss直聘招聘信息_Python爬虫实战-抓取boss直聘招聘信息
05-29
好的，我了解你的问题了。这是一个非常实用的问题，下面我将为你详细介绍Python爬取boss直聘招聘信息的实现方法。 首先，我们需要准备以下工具和库： - Python 3.6 或以上版本 - requests 库 - BeautifulSoup 库 - pandas 库 接下来，我们按照以下步骤进行实现： 1. 导入需要的库： ```python import requests from bs4 import BeautifulSoup import pandas as pd ``` 2. 定义一个函数，用于获取页面内容： ```python def get_page(url): headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'} response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, 'html.parser') return soup ``` 3. 定义一个函数，用于获取职位信息： ```python def get_jobs(soup): job_list = [] jobs = soup.select('.job-list ul li .job-primary .info-primary') for job in jobs: job_name = job.select('.job-title')[0].text.strip() company_name = job.select('.company-text .name')[0].text.strip() salary = job.select('.job-limit .red')[0].text.strip() job_info = job.select('.job-title')[0].attrs['href'] job_detail = get_job_detail(job_info) job_list.append([job_name, company_name, salary, job_detail]) return job_list ``` 4. 定义一个函数，用于获取职位的详细信息： ```python def get_job_detail(url): soup = get_page(url) job_detail = soup.select('.job-detail .job-sec')[0].text.strip().replace('\n', '') return job_detail ``` 5. 定义一个函数，用于保存数据到本地CSV文件： ```python def save_to_csv(job_list): df = pd.DataFrame(job_list, columns=['职位名称', '公司名称', '薪资待遇', '职位描述']) df.to_csv('boss直聘招聘信息.csv', index=False) ``` 6. 最后，我们编写主程序： ```python if __name__ == '__main__': url = 'https://www.zhipin.com/c101280100/?query=python&page=1' soup = get_page(url) job_list = get_jobs(soup) save_to_csv(job_list) ``` 在运行程序之前，我们需要先确定爬取的页面URL和参数。在本例中，我们爬取的是boss直聘上“python”职位的招聘信息，因此URL为“https://www.zhipin.com/c101280100/?query=python&page=1”，其中“c101280100”是城市代码，这里是上海的城市代码，可以根据需要修改。在“query”参数中输入关键词“python”，“page”参数表示页码。 运行程序后，会将爬取到的职位信息保存到本地的CSV文件中，文件名为“boss直聘招聘信息.csv”。 以上就是Python爬取boss直聘招聘信息的实现方法，希望对你有所帮助。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值