拉勾网数据爬取

最新推荐文章于 2024-07-12 17:01:23 发布
最新推荐文章于 2024-07-12 17:01:23 发布
阅读量8.2k 收藏 10
点赞数 1
分类专栏： python 爬虫 文章标签： 爬虫 拉钩网 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_14998713/article/details/79134312
版权
本文介绍了如何爬取拉勾网北京地区的数据挖掘岗位信息。通过分析移动端API，利用Python进行数据抓取，简化了抓取过程。文章提供脚本及源码，便于读者学习和实践。
摘要由CSDN通过智能技术生成

拉勾网数据爬取

爬取内容

北京数据挖掘方向的岗位数据

方案

正常的

https://www.lagou.com/jobs/list_数据挖掘?px=new&city=上海#order

上面的URL是查询上海数据挖掘岗位的信息并按照最新发布排序

通过抓包分析请求的真正URL是这个

https://www.lagou.com/jobs/positionAjax.json?px=new&city=上海&needAddtionalResult=false&isSchoolJob=0


提交的数据如下

返回的数据的格式如下
这里写图片描述

太麻烦了使用移动端ua (很赞)
移动端的api往往比pc端的简单

使用360极速浏览器的魔变


输入网址查看移动端的拉勾网界面，设置查询条件如下

然后用F12抓包分析真正的URL

发送数据的表单

获得数据格式

成果展示

脚本

"""
title:抓取拉勾网的数据
time:2018-01-22
author:No.96
"""
import requests
import time
import random
import csv

# 移动端头部信息
useragents = [
    "Mozilla/5.0 (iPhone; CPU iPhone OS 9_2 like Mac OS X) AppleWebKit/601.1 (KHTML, like Gecko) CriOS/47.0.2526.70 Mobile/13C71 Safari/601.1.46",
    "Mozilla/5.0 (Linux; U; Android 4.4.4; Nexus 5 Build/KTU84P) AppleWebkit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows Phone OS 7.5; Trident/5.0; IEMobile/9.0)"
]
cookies
最低0.47元/天 解锁文章
no-96
关注
专栏目录
拉勾网职位数据爬取
dta0502的博客
08-26 2143
拉勾网反爬虫做的比较严，请求头多添加几个参数才能不被网站识别。 我们找到真正的请求网址，发现返回的是一个JSON串，解析这个JSON串即可，而且注意是POST传值，通过改变Form Data中pn的值来控制翻页。 需要的一些知识点 AJAX：Asynchronous JavaScript and XML（异步的 JavaScript 和 XML）。它不是新的编程语言，而是一种使用现有...
爬取拉勾网进行数据分析
zpxcod007的博客
04-23 636
首先用scrapy框架来写爬虫。这个爬虫代码基本是参照这里这个博主写的，我只是添加了middlewaves的部分。其实关于爬虫还有很多不明白的地方，只是了解基本原理和scrapy框架，但毕竟不是爬虫工程师，有时间再慢慢补充吧。数据获取爬虫代码如下Items：import scrapy from scrapy.item import Item, Field class Lagou2Item(sc...
利用Python爬取拉勾网的数据.rar
06-26
python爬虫实战，爬取拉勾网全站职位（CrawlSpider），思路如下： 1.首先类似于 https://www.lagou.com/jobs/2182417.html 这样的链接是最终要的url。基本都是差不多，要变的就是那一串数字，编写正则表达式匹配就好。 2.除了首页还有其他地方也能找到这样的url，所以我先匹配职位分类的url 例如：https://www.lagou.com/zhaopin/Java/，在抓取最终的url。 3.scrapy会自动去重。
Python-数据爬取（爬虫）
最新发布
房东的猫的博客
07-12 4万+
定义： 深度优先搜索是一种遍历或搜索树或图的算法，从起始节点开始，一直沿着一个分支走到底，再回溯到上一个节点继续搜索下一个分支，直到遍历完所有节点。特点递归：通常用递归实现，或者使用栈来模拟递归过程。内存占用低：在有大量分支的情况下，内存占用比广度优先搜索低。适合目标较深的情况：如果目标节点距离起始节点较深，DFS能更快找到目标。适用场景需要遍历所有节点的情况，如生成树、迷宫搜索。目标节点较深，且分支较多时。在大规模数据爬取时，选择合适的存储方式取决于数据的规模、结构和访问需求。
爬取拉勾网
偷得浮生半日闲
09-13 369
# -*- coding: utf-8 -*- # @Time : 2017/8/29 15:14 # @Author : z # @File : 拉勾网.py # @Software: PyCharm import requests from urllib.parse import urlencode from bs4 import BeautifulSoup import js
Python爬虫：爬取拉勾网数据分析岗位数据
任尔东西
09-24 3583
1 JSON介绍 JSON（JavaScript Object Notation）已经成为通过HTTP请求在Web浏览器和其他应用程序之间发送数据的标准格式之一。比CSV格式更加灵活。Json数据格式，非常接近于有效的Pyhton代码，其特点是：JSON对象所有的键都必须是字符串。 可以通过json.loads()将JSON字符串转化为Python的字典形式，方便对其进行进一步操作。 json.l...
node 爬虫 实战 - 爬取拉勾网职位数据
Draven
12-06 940
node 爬虫 实战 - 爬取拉勾网职位数据，主要想把数据用于大数据学习，到时候大数据分析可以自己分析一下职位的情况，和比较一些我现在的职位在深圳乃至全国的开发人员水平。 涉及到的技术栈：node.js ，mongoDB , express  源码下载：https://gitee.com/draven_lee/node-spider ，如果有帮助到你，不需要打赏，欢迎给star。 这个爬虫功...
P210624001J Python Django拉勾网信息爬取与展示网站【程序+文档】.rar
07-24
爬取拉勾网Python全国招聘的求职信息，通过requests 请求获取单页面，然后分析页面加载找到数据，添加headers信息，模仿浏览器请求，最后解析页面，实现翻页爬取。根据爬取的结果信息进行数据分析与可视化，使用...
拉勾网招聘数据爬取（公布源码）
python爬虫人工智能大数据
09-16 5426
公众号爬取拉勾网招聘数据，本文只讲重点，因为爬任何一个网站，可能最重要的就是遇到反爬怎么办，也就是第一步能不能爬下来数据的问题，本文讲如何爬取拉勾招聘数据 环境及软件：Linux乌邦图、redis、mysql、pycharm软件 所需库和包：截图中的 0、运行方法 构造城市列表和岗位列表，并发送请求，本文仅作学习参考，如果想爬取更多数据，请大家自己写方法获取拉勾所有城市和所有岗位 ...
小白拉勾网职位爬取（图文详解）
Mr_Piglet的博客
10-18 838
拉勾网职位爬取总结 0：前言 由于自己差不多算是一个小白，所以在此次爬取过程中遇到了很多困难，但最终都一一解决了，得到了一个还算可以的结果。 1：用到的包 form urllib import parse 用于UrlCode的编码 requests 请求页面并返回数据 time 暂停进程 pandas 解析数据并存储成csv格式的文件 2：解析网页 访问拉勾网随便选择一个职位进入，这里我们选择...
爬取拉勾网的数据并保存到excel中
10-25
这个例子用python爬取拉勾网上的数据，并保存到excel中，注意header中的数据最好自己用浏览器得到，并替换一下。
网站数据爬取可视化 python_python爬取拉勾网数据并进行数据可视化
weixin_32842959的博客
12-29 785
爬取拉勾网关于python职位相关的数据信息，并将爬取的数据已csv各式存入文件，然后对csv文件相关字段的数据进行清洗，并对数据可视化展示，包括柱状图展示、直方图展示、词云展示等并根据可视化的数据做进一步的分析，其余分析和展示读者可自行发挥和扩展包括各种分析和不同的存储方式等。。。。。一、爬取和分析相关依赖包Python版本： Python3.6requests: 下载网页math: 向上取整t...
爬取拉勾网并进行数据分析
mynamessteven的博客
07-11 1697
又到了一年一度的招聘热季，大量的工作向我们招手，今天我和大家一起看看拉勾网中各公司对于python人才的需求。 import jieba import numpy as np import pandas as pd import matplotlib.pyplot as plt from pyecharts import Geo from wordcloud import WordCloud import re import matplotlib from imageio import imread ur
基于拉勾网数据的爬取与分析
MengXiaotiant的博客
05-06 1373
1.确定目标网站 目标网站的URL为：https://www.lagou.com/zhaopin/python/filterOption=3&sid=99132d4b071a4952a73374db9065626f 在谷歌浏览器的地址栏中输入URL后看到如图4-1所示的关于互联网板块的招聘信息页面： 确定爬取页面信息的字段为：公司名称、公司简称、城市、公司规模、学历要求、工作经验、薪资、融资阶段、工作性质、职位诱惑、职位名称、公司福利，一共12个字段的信息 2.静态网页的爬.
在拉勾网对职位的数据爬取与分析
WG18679的博客
06-07 702
面对市场的瞬息万变，为获得和保持企业的竞争优势，企业的组织结构，部门职能、业务流程、岗位职能也是处于适时的变化和调整之中，因此对岗位的分析非常重要。
数据第一步：爬虫爬取拉勾网数据入数据库
ddym66的博客
08-12 493
import requests import pymysql import sqlalchemy as sq from sqlalchemy.orm import sessionmaker class Config: kd = 'python'#搜索关键词 referer = 'https://www.lagou.com/jobs/list_%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90?labelWords=&fromSearch=true&s
最新拉勾网数据自动爬取，打造自己的职业信息库！！！
Code皮皮虾的博客
07-22 2312
文章目录一、准备二、完整代码及代码分析三、图片辅助分析四、运行结果 一、准备 进入拉勾网，搜索python 上下滑动滚轮，可知每页有14条数据 建立数据库 数据库建表语句 CREATE TABLE `lagou` ( `id` int(11) NOT NULL AUTO_INCREMENT, `title` varchar(100) DEFAULT NULL, `company` varchar(100) DEFAULT NULL, `price` varchar(50) DEFAUL
python爬取拉勾网任意职位数据
mozzielx的博客
07-28 692
# -*- coding: utf-8 -*- """ Created on Wed Jul 27 15:44:14 2016#python vesion:3.5.2 @author: mozzielx """ import urllib.parse import urllib.request import json from openpyxl import Workbook def g
WebMagic爬取拉勾网招聘数据
03-31
WebMagic是Java语言编写的一款爬虫框架，它基于Jsoup解析器实现，可以轻松地爬取各种网站上的数据。下面是使用WebMagic爬取拉勾网招聘数据的方法： 1. 首先，需要导入WebMagic相关的依赖包，可以在pom.xml文件中添加以下代码： ``` <dependency> <groupId>us.codecraft</groupId> <artifactId>webmagic-core</artifactId> <version>0.7.3</version> </dependency> <dependency> <groupId>us.codecraft</groupId> <artifactId>webmagic-extension</artifactId> <version>0.7.3</version> </dependency> <dependency> <groupId>us.codecraft</groupId> <artifactId>webmagic-selenium</artifactId> <version>0.7.3</version> </dependency> <dependency> <groupId>org.seleniumhq.selenium</groupId> <artifactId>selenium-firefox-driver</artifactId> <version>2.53.1</version> </dependency> ``` 2. 创建一个Java类，用于定义需要爬取的数据结构。例如，我们可以定义一个Job类，用于存储招聘信息： ``` public class Job { private String name; //职位名称 private String salary; //薪资范围 private String company; //公司名称 private String location; //工作地点 private String experience; //工作经验要求 private String education; //学历要求 private String label; //职位标签 //省略setter和getter方法 } ``` 3. 创建一个实现PageProcessor接口的Java类，用于定义爬虫的逻辑。例如，我们可以定义一个LaGouProcessor类，用于爬取拉勾网的招聘信息： ``` public class LaGouProcessor implements PageProcessor { private Site site = Site.me() .setRetryTimes(3) //重试次数 .setSleepTime(1000) //访问间隔 .setUserAgent(UserAgentUtil.getRandomUserAgent()); //随机User-Agent @Override public void process(Page page) { List<Job> jobList = new ArrayList<>(); List<String> jobUrls = page.getHtml().links().regex("https://www.lagou.com/jobs/\\d+.html").all(); for (String jobUrl : jobUrls) { page.addTargetRequest(jobUrl); //添加详情页链接到抓取队列 } if (page.getUrl().regex("https://www.lagou.com/jobs/\\d+.html").match()) { //详情页 Job job = new Job(); job.setName(page.getHtml().xpath("//div[@class='job-name']/span/text()").get()); job.setSalary(page.getHtml().xpath("//dd[@class='job_request']/h3/span[1]/text()").get()); job.setCompany(page.getHtml().xpath("//div[@class='company']/text()").get()); job.setLocation(page.getHtml().xpath("//dd[@class='job_request']/p/span[2]/text()").get()); job.setExperience(page.getHtml().xpath("//dd[@class='job_request']/p/span[3]/text()").get()); job.setEducation(page.getHtml().xpath("//dd[@class='job_request']/p/span[4]/text()").get()); job.setLabel(StringUtils.join(page.getHtml().xpath("//dd[@class='job_request']/ul/li/span/text()") .all(), ",")); //多个标签以逗号分隔 jobList.add(job); } page.putField("jobList", jobList); } @Override public Site getSite() { return site; } } ``` 4. 在main方法中，创建一个Spider对象，并设置需要爬取的初始链接、定义的PageProcessor对象和线程数等参数。例如，我们可以设置以下参数： ``` public static void main(String[] args) { Spider.create(new LaGouProcessor()) .addUrl("https://www.lagou.com/zhaopin/Java/?labelWords=label") .thread(5) .run(); } ``` 5. 运行程序，即可爬取拉勾网的招聘信息。可以通过page.putField方法将爬取到的数据存储到Map中，然后可以将Map写入文件或者数据库中。 ``` public static void main(String[] args) { Spider.create(new LaGouProcessor()) .addUrl("https://www.lagou.com/zhaopin/Java/?labelWords=label") .thread(5) .run(); } ```
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值