python项目（一）——爬虫爬取拉勾网职位信息

最新推荐文章于 2024-05-08 15:47:56 发布
最新推荐文章于 2024-05-08 15:47:56 发布
阅读量589 收藏 1
点赞数
分类专栏： py爬虫项目 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41136897/article/details/104353779
版权

一.目标

爬取拉勾网指定城市的指定职位的一定数据。

二.网站解析

1.url解析
以在拉勾网寻找linux工程师工作为例：
在这里插入图片描述
网址是
https://www.lagou.com/jobs/list_linux?labelWords=&fromSearch=true&suginput=
但是详细分析之后可以发现?后面的参数去除也可以得到相应的html，
即 https://www.lagou.com/jobs/list_linux?这个网址也是可以得到想应的网站的
在这里插入图片描述
2.分析返回的数据类型是html格式还是json格式
打开chrome的开发者工具，检查网站的详细信息。
在这里插入图片描述
可以看到xhr中有一个positionAjax的json文件，点开preview查看里面的内容，发现了有我们需要的职位信息：
在这里插入图片描述
那也就是说这个页面的职位信息应该是通过Ajax请求然后服务器返回的json数据通过js渲染而成的。我对于Ajax请求的理解是：传统的网页更新时，需要刷新页面，使用Ajax后，通过js文件向服务器发送请求，然后得到的数据动态的渲染更新页面。（如果后面发现理解错了，会及时来这里更新）
3.分析headers，拿到json数据
点击headers，可以看到这是一个post类型的请求，表单数据form data可以下拉到最下面得到，查看request url，可以试着再另外的标签页中打开url，会发现和往常的json文件不同，这个链接打开后得不到我们想要的数据，并且会返回一个您的访问次数过多的错误。在这里插入图片描述
这里可能就是触发了网站的反爬机制，常见的反爬措施就是cookies校验，请求头的验证什么的，我们在python中使用requests包的session模块尝试一下后会发现要想拿到这个网站的数据，一个是要得到起始搜索页面的cookies，然后还要定制请求头。
（1）得到cookies并不能得到要的数据
在这里插入图片描述
（2）修改headers后添加referer后，可以拿到数据
请求头中rederer的作用就是标识这个请求从哪里来的，服务器可以拿到这个信息并做相应的处理，这里就说明了这个请求是从搜索页面来的，所以单独打开一个标签去访问那个request url拿不到结果。
在这里插入图片描述
4.分析拿到的json数据，取出我们想要的数据
通过json包的loads()方法来得到数据，至此单个页面的数据分析差不多就结束了。
在这里插入图片描述

三.代码实现

# /usr/env/bin/python3
# -*-coding: utf-8 -*-
最低0.47元/天 解锁文章
跳舞的巴比伦
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
拉勾网的职位信息爬取（详细）
Best_fish的博客
11-16 2054
1.进入拉钩网，（调到注册页可删掉url详情后缀直接登陆主页）   2.选定一个城市一种职位，分析一下页面，发现点击第一页第二页换页时url地址栏并未发生变化，可以判断是ajax发送的请求，且显示是post请求 拿到实际的请求地址，并构造查询字符串和请求体内容 https://www.lagou.com/jobs/positionAjax.json?gj=3%E5%B9%B4%E5...
Python爬虫--爬取拉勾网数据
m0_37786014的博客
05-13 2130
代码一： 将爬取回来的所有数据，加上根据不同的值生成的hash值一起存入mongo，为了防止再次爬数据的时候重复提交数据，加入了存入数据库之前的数据验证（即存入数据库之前验证数据库中是否已经存在该hash值） #coding=utf-8 import requests,pymongo,math,json import sys,re,ConfigParser,random import numpy...
python爬虫：从拉勾网爬取数据分析职位信息
最新发布
2302_76597285的博客
05-08 632
定义一个名为# 构建请求头',# 用data进行分页爬取data = {'pn': i,'kd': '数据分析'# 请求网页time.sleep(3) # 休息一下# json.loads 用于解码 JSON 数据。该函数返回 Python字段的数据类型# 获取15条数据# 获取每条招聘岗位里面的详细信息position_name = i['positionName'] # 职位名称company_full_name = i['companyFullName'] # 公司名称。
python爬虫爬取拉勾网职业信息
风雨雾凇的博客
01-21 7437
先放成果 招聘关键字词云 公司关键字词云 代码git地址：https://github.com/fengyuwusong/lagou-scrapy 目标 抓取拉钩关于java工程师的招聘信息并制作成词云图。 研究目标网站 打开拉钩网可以发现目标url为：https://www.lagou.com/zhaopin/Java/2/?filterOption=2 ，这通过
python爬虫——怎么抓取职位信息
随便写写
06-13 2874
在进行职位信息爬取时，需要先确定目标网站，并通过分析页面结构和抓包等方式获取到页面 API 接口。接着，通过发送 HTTP 请求获取页面信息，并使用 BeautifulSoup 或正则表达式等工具解析页面获取所需信息。在整个爬取过程中，应该注意遵守法律法规和道德准则，避免侵犯他人隐私和抓取敏感信息等问题。同时，对于反爬机制的应对，可以采取一些策略，如降低访问频率、使用代理 IP、更换 User-Agent 、登陆账号、对抗反爬等方法。
2020-08-18日爬取拉勾网java和python所有职业信息进行数据分析汇总并可视化展示
qq_38546597的博客
08-20 983
2020-08-18日爬取拉勾网java和python所有职业信息（具体爬虫看上一篇博客）链接地址 本文爬取到的数据集可以在git上下载，地址如下： 数据集和源码下载 效果展示： 由于保存的图片格式是svg,博客不能上传，这里只截了图。 两种类型公司在全国分布 ** 各城市给出的平均工资 全国的平均工资分布 公司规模和平均工资关系图 这里java中爬取到的数据有些公司给出的工资不正常导致曲线有部分不正常，在图片中标出了 工资随着工作年限的变化 java中要求10年年限的公司一家而且给出的工资较低，没
python爬虫之爬取拉勾网职位信息
12-21
import json import time import requests import csv # 1....f = open('lgposition.csv', 'w'... ["公司", "职位名称", "公司简称", "公司规模", "公司行业", "融资", "福利", "职位类型", "第二职位", "第三职位", "技能
爬取网站职位_爬虫_爬取拉勾网_拉勾网_职位_
10-03
综上所述，"爬取网站职位_爬虫_爬取拉勾网_拉勾网_职位_"这个项目涵盖了网络爬虫的基本原理、网页解析、延迟策略、数据存储以及可能的数据分析等多个方面，是学习和实践Web爬虫技术的好案例。通过阅读和理解《爬取...
node.js爬虫爬取拉勾网职位信息
01-20
用node.js写了一个简单的小爬虫，用来爬取拉勾网上的招聘信息，共爬取了北京、上海、广州、深圳、杭州、西安、成都7个城市的数据，分别以前端、PHP、java、c++、python、Android、ios作为关键词进行爬取，爬到的数据...
python爬取拉勾网职位信息
weixin_44783823的博客
05-19 495
首先，明确目标：我爬取的是python职位的前10页数据 然后，找到自己需要的数据并获取地址： 其次，先爬取1页是数据（请求头、获取数据）： import json import requests import pprint import time url = 'https://www.lagou.com/jobs/positionAjax.json' params = 'px=default&needAddtionalResult=false' data = { 'first': '
python如何爬取网站数据并进行数据可视化
09-19
主要介绍了python爬取拉勾网数据并进行数据可视化,爬取拉勾网关于python职位相关的数据信息，并将爬取的数据已csv各式存入文件，然后对csv文件相关字段的数据进行清洗，并对数据可视化展示，包括柱状图展示、直方图展示,需要的朋友可以参考下
爬取拉勾网的数据并保存到excel中
10-25
这个例子用python爬取拉勾网上的数据，并保存到excel中，注意header中的数据最好自己用浏览器得到，并替换一下。
简单python爬虫爬取拉勾网职位信息
抬山的博客
09-09 1628
写在前面：这里要感谢网易云课堂丘祐玮老师，本篇博文内容都是基于老师所讲内容而写，想要学习python学习爬虫的可以去看老师的课程 今天要分享的是使用python爬取拉勾网职位信息，这里只爬取python职位信息用做爬虫效果展示，想要深入的同学再看完本篇博文后可以继续研究 如下图，搜索python，按之前经验页面python职位信息是访问https://www.lagou.com/job...
通过Python爬取拉勾网的职位信息
Fowee
09-06 430
看到一篇觉得还不错的博客，简单的试了一下：https://blog.csdn.net/d1240673769/article/details/75176451   拉勾网：https://www.lagou.com/ 这是一家专为拥有3至10年工作经验的资深互联网从业者，提供工作机会的招聘网站。 本文主要通过Python爬取拉勾网的职位信息，取得的信息能够为今后对某个职业的进行进一步的数据...
爬取拉勾网招聘信息（招聘岗位，公司名称，薪资等）
weixin_63890705的博客
01-01 979
用爬虫框架进行爬取，框架还是feapder 代码如下： import feapder #轻量级爬虫 class LastAirSpider(feapder.AirSpider): def start_callback(self): print("爬虫开始") def end_callback(self): print("爬虫结束") #下发任务 def start_requests(self): #爬取五页数据
【Python爬虫案例学习10】基于Requests爬取拉勾网招聘信息，并保存至本地csv文件
人生苦短， 还不用Python？
08-05 1229
开发环境： MacBook Air (13-inch, Early 2015) macOS High Sierra 10.13.6 1.6GHZ Inter Core i5 Python：V 3.7.0 拉勾网Html页面分析 首先，使用自己账号登陆拉勾网，这个在分析header中会带有cookies等信息，在spider模拟访问请求的url时，被反爬虫的概率更小些（ps：拉勾网总不至于不让用...
爬取拉勾网招聘信息笔记
zgh136608的博客
03-30 302
问题 1.爬取时进行循环翻页时找不到结束条件 解决方案：当点击下一页有效时 按钮的类为’pager_next ’ 而当点击下一页按钮无效时，该按钮的类变成了’pager_next pager_next_disabled’ 所以在获取按钮后获取该按钮的属性，如果该按钮的类为’pager_next’则执行click，若类不为’pager_next’ 则break循环。 ...
爬取拉勾网的职位信息
lxyh0000的博客
11-16 375
项目流程 （1）分析职位页面的请求方式与请求数据 1.随便搜索一个职位进入职位界面，然后点击下一页，发现浏览器顶部的网址并未发生变化，因此分析请求方式应该是ajax的发起的post请求 2.点击右键打开浏览器的检查元素，选择network，再点击下面的XHR，此时再次点击下一页，发现出现一个ajax请求，点击进去会出现请求头，响应数据，查询字符串参数与请求数据，根据这些数据可知确实是ajax的po...
请帮我写一个爬取拉勾网职位信息的爬虫代码
04-23
好的，我可以帮你写一个Python的爬虫代码，使用requests和BeautifulSoup库来爬取拉勾网的职位信息。以下是代码： ```python import requests from bs4 import BeautifulSoup def get_job_info(url): response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') job_name = soup.select('.job-name')[0].text.strip() salary = soup.select('.job_request .salary')[0].text.strip() experience = soup.select('.job_request p')[1].text.strip() education = soup.select('.job_request p')[2].text.strip() tags = [tag.text.strip() for tag in soup.select('.position-label li')] company = soup.select('.company')[0].text.strip() return {'Job': job_name, 'Salary': salary, 'Experience': experience, 'Education': education, 'Tags': tags, 'Company': company} def get_jobs_list(city, keyword, pages=1): jobs_list = [] for page in range(1, pages+1): url = f'https://www.lagou.com/{city}/zhaopin/{keyword}/{str(page)}/?filterOption=3' response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') job_items = soup.select('.itemcon') for job in job_items: job_url = job.select('.positionlink')[0].get('href') job_info = get_job_info(job_url) jobs_list.append(job_info) return jobs_list jobs = get_jobs_list('beijing', 'python', pages=2) for job in jobs: print(job) ``` 该爬虫代码可以爬取拉勾网北京地区Python职位的信息。你可以替换city和keyword变量的值来搜索其他城市和职位需求。pages参数是可选的，默认为1，如果设置为2，则爬取前两页的职位信息。 以上是该爬虫代码的实现，如果你有其他问题，可以随时问我。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值