爬虫分析智联_中山_java_薪资水平

最新推荐文章于 2023-04-04 10:13:43 发布
最新推荐文章于 2023-04-04 10:13:43 发布
阅读量784 收藏 1
点赞数
分类专栏： 爬虫 文章标签： java 爬虫 数据玩具
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/JinglongSource/article/details/89441095
版权

很久没写过爬虫了，其实我挺喜欢写爬虫的，所以今天找了个时间写一个爬虫吧
先说为什么要写这个爬虫，因为我公司的电梯有一个广告牌子，每天上下班，吃饭的时候都被洗脑，“上智联你更值”,一个智联的招聘广告,高晓松每天都叫我上智联…
广告这东西对吧,没用呀,得看数据呀,所以故事就这样子开始了…

没错啦!!!就是下边这个啦
在这里插入图片描述

实现步骤:
01: 先打开熟悉的百度搜索 智联, 然后选择中山, 搜索java

在这里插入图片描述

02: 浏览器抓包(具体流程阅图)

在这里插入图片描述

03: 到了这里我们就知道了浏览器的数据是怎么来的了,然后下一步我们就是模拟浏览器发送网络请求拿到数据啦~~

其实现在很多数据的加载都是异步的加载上来了,很少写死在html中了,有机会的话可以分析一下抓取html中的数据

这里使用的java,其实什么语言都无所谓,但是爬虫的话,python相对来说友好一点, 方便很多

package cn.shaines.spider.module.job;

import cn.shaines.spider.module.SpiderInterface;
import cn.shaines.spider.util.HappyUtil;
import cn.shaines.spider.util.HttpUtil;
import com.alibaba.fastjson.JSON;
import com.alibaba.fastjson.JSONArray;
import com.alibaba.fastjson.JSONObject;

import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;

/**
 * @author houyu
 * @createTime 2019/4/21 20:59
 */
public class ZhiLianZSSpider implements SpiderInterface {

    HttpUtil httpUtil = HttpUtil.get();       // 自己封装的一个网络请求工具类,
    HappyUtil happyUtil = HappyUtil.get();    // 自己封装的一个公用工具类

    /**
     * 处理薪资词云图
     * @return
     */
    private Object handlerSalary(){
        List<Map<String, Object>> dataList = (List<Map<String, Object>>)process(null);

        System.out.println("智联中山java招聘信息共: " + dataList.size() + " 条");

        List<String> list = new ArrayList<>(dataList.size());
        dataList.forEach((v) -> list.add((String)v.get("薪资待遇")));
        Map<String, Integer> salaryMap = happyUtil.getAloneCountInList(list);

        System.out.println("salaryMap = " + salaryMap);

        return null;
    }

    /**
     * 解析网页数据
     * @param param
     * @return
     */
    @Override
    public Object process(Map<String, Object> param) {
        String html = getHtml(1);
        JSONObject jsonObject = JSON.parseObject(html);
        JSONArray jsonArray = jsonObject.getJSONObject("data").getJSONArray("results");

        Map<String, Object> dataMap = null;
        List<Map<String, Object>> dataList = new ArrayList<>(1024);

        for (int i = 0; i < jsonArray.size(); i++) {
            JSONObject data = jsonArray.getJSONObject(i);
            dataMap = new HashMap<>(16);

            String 更新时间 = data.getString("updateDate");
            String 结束时间 = data.getString("endDate");
            String 所属城市 = data.getJSONObject("city").getString("display");
            String 详情网址 = data.getString("positionURL");
            String 福利多多 = happyUtil.join(data.getJSONArray("welfare").toArray(), ",");
            String 薪资待遇 = data.getString("salary");
            String 工作年限 = data.getJSONObject("workingExp").getString("name");
            dataMap.put("更新时间", 更新时间);
            dataMap.put("结束时间", 结束时间);
            dataMap.put("所属城市", 所属城市);
            dataMap.put("详情网址", 详情网址);
            dataMap.put("福利多多", 福利多多);
            dataMap.put("薪资待遇", 薪资待遇);
            dataMap.put("工作年限", 工作年限);

            String 公司代码 = data.getJSONObject("company").getString("number");
            String 公司规模 = data.getJSONObject("company").getJSONObject("size").getString("name");
            String 公司名称 = data.getJSONObject("company").getString("name");
            String 公司类型 = data.getJSONObject("company").getJSONObject("type").getString("name");
            String 招聘网址 = data.getJSONObject("company").getString("url");
            dataMap.put("公司代码", 公司代码);
            dataMap.put("公司规模", 公司规模);
            dataMap.put("公司名称", 公司名称);
            dataMap.put("公司类型", 公司类型);
            dataMap.put("招聘网址", 招聘网址);

            String 岗位简介 = data.getJSONObject("jobType").getString("display");
            String 招聘人数 = data.getString("recruitCount");
            String 创建时间 = data.getString("createDate");
            String 岗位名称 = data.getString("jobName");
            String 学历底线 = data.getJSONObject("eduLevel").getString("name");
            String 工作制度 = data.getString("emplType");
            String 区域名称 = data.getString("businessArea");
            dataMap.put("岗位简介", 岗位简介);
            dataMap.put("招聘人数", 招聘人数);
            dataMap.put("创建时间", 创建时间);
            dataMap.put("岗位名称", 岗位名称);
            dataMap.put("学历底线", 学历底线);
            dataMap.put("工作制度", 工作制度);
            dataMap.put("区域名称", 区域名称);

            JSONObject positionLabel = JSON.parseObject(data.getString("positionLabel"));
            JSONArray jobLight = positionLabel.getJSONArray("jobLight");
            String 工作福利 = happyUtil.join(jobLight == null ? new String[]{} : jobLight.toArray(), ",");
            dataMap.put("工作福利", 工作福利);

            JSONArray skill = positionLabel.getJSONArray("skill");
            String 掌握技能 = happyUtil.join(skill == null ? new String[]{} : skill.toArray(), ",");
            dataMap.put("掌握技能", 掌握技能);

            System.out.println("dataMap = " + dataMap);
            dataList.add(dataMap);
        }
        return dataList;
    }

    /**
     * 网络请求数据
     * @param page
     * @return
     */
    private String getHtml(int page){
        String url = "https://fe-api.zhaopin.com/c/i/sou?pageSize=1000&cityId=780&workExperience=-1&education=-1&companyType=-1&employmentType=-1&jobWelfareTag=-1&kw=java&kt=3";
        String html = httpUtil.getHtml(url);
        // System.out.println(html);
        return html;
    }

    /**
     * main
     */
    public static void main(String[] args) {
        ZhiLianZSSpider zhiLianZSSpider = new ZhiLianZSSpider();
        //zhiLianZSSpider.process(null);
        zhiLianZSSpider.handlerSalary();
    }

}
04: 控制台输出
dataMap = {区域名称=竹苑, 公司代码=CZ372359780, 工作制度=全职, 公司规模=20-99人, 公司名称=中山市日淘乐网络信息有限公司, 招聘人数=3, 更新时间=2019-04-21 19:22:21, 招聘网址=https://company.zhaopin.com/CZ372359780.htm, 岗位简介=软件/互联网开发/系统集成,互联网软件工程师, 公司类型=民营, 掌握技能=JS,Java,MySQL,HTML,CSS, 岗位名称=中高级JAVA开发工程师, 工作福利=带薪年假,交通补助,加班补助,绩效奖金,年底双薪,弹性工作,14薪,住房补贴, 工作年限=3-5年, 创建时间=2019-04-06 13:06:15, 福利多多=带薪年假,交通补助,加班补助,绩效奖金,年底双薪, 学历底线=大专, 结束时间=2019-05-16 13:06:15, 所属城市=中山, 详情网址=https://jobs.zhaopin.com/372359783250004.htm, 薪资待遇=6K-10K}
dataMap = {区域名称=竹苑, 公司代码=CZ633142420, 工作制度=全职, 公司规模=1000-9999人, 公司名称=朗新科技股份有限公司, 招聘人数=4, 更新时间=2019-04-03 19:27:05, 招聘网址=https://company.zhaopin.com/CZ633142420.htm, 岗位简介=软件/互联网开发/系统集成,Java开发工程师, 公司类型=合资, 掌握技能=, 岗位名称=高级应用开发工程师（java）(J10469), 工作福利=五险一金,交通补助,带薪年假,弹性工作,补充医疗保险,定期体检,员工旅游,节日福利, 工作年限=3-5年, 创建时间=2019-03-28 14:50:23, 福利多多=五险一金,交通补助,带薪年假,弹性工作,补充医疗保险, 学历底线=本科, 结束时间=2020-01-22 14:50:23, 所属城市=中山, 详情网址=https://jobs.zhaopin.com/CC633142422J00291422403.htm, 薪资待遇=10K-15K}
dataMap = {区域名称=湖滨北路, 公司代码=CZ318025530D00300163186, 工作制度=全职, 公司规模=10000人以上, 公司名称=中山达内科技有限公司, 招聘人数=3, 更新时间=2019-04-07 17:44:46, 招聘网址=https://company.zhaopin.com/CZ318025530D00300163186.htm, 岗位简介=软件/互联网开发/系统集成,PHP开发工程师, 公司类型=上市公司, 掌握技能=, 岗位名称=初级Java软件工程师, 工作福利=五险一金,年底双薪,绩效奖金,加班补助,餐补,股票期权,带薪年假,周末双休, 工作年限=不限, 创建时间=2019-03-29 17:15:03, 福利多多=五险一金,年底双薪,绩效奖金,加班补助,餐补, 学历底线=不限, 结束时间=2019-04-28 17:15:03, 所属城市=中山-西区, 详情网址=https://jobs.zhaopin.com/CC318025533J00146991002.htm, 薪资待遇=6K-8K}
dataMap = {区域名称=张家边, 公司代码=CZ369469780, 工作制度=全职, 公司规模=100-499人, 公司名称=QST青软实训, 招聘人数=2, 更新时间=2019-04-19 09:48:27, 招聘网址=https://company.zhaopin.com/CZ369469780.htm, 岗位简介=软件/互联网开发/系统集成,Java开发工程师, 公司类型=股份制企业, 掌握技能=C++,Java, 岗位名称=java讲师【中山】, 工作福利=周末双休,五险一金,年底双薪,餐补,节日福利,不加班,免费班车,定期体检, 工作年限=3-5年, 创建时间=2019-04-19 09:48:26, 福利多多=周末双休,五险一金,年底双薪,餐补,节日福利, 学历底线=本科, 结束时间=2019-05-19 09:48:26, 所属城市=中山-火炬开发区, 详情网址=https://jobs.zhaopin.com/CC369469780J00255567603.htm, 薪资待遇=8K-12K}
dataMap = {区域名称=上步, 公司代码=CZ120564550, 工作制度=全职, 公司规模=1000-9999人, 公司名称=深圳市长亮科技股份有限公司, 招聘人数=5, 更新时间=2019-04-08 11:23:43, 招聘网址=https://company.zhaopin.com/CZ120564550.htm, 岗位简介=软件/互联网开发/系统集成,软件工程师, 公司类型=上市公司, 掌握技能=, 岗位名称=Java开发工程师（互联网金融）, 工作福利=五险一金,绩效奖金,包住,通讯补助,带薪年假,定期体检,员工旅游,节日福利, 工作年限=3-5年, 创建时间=2019-04-08 11:23:43, 福利多多=五险一金,绩效奖金,包住,通讯补助,带薪年假, 学历底线=本科, 结束时间=2019-05-08 11:23:43, 所属城市=中山, 详情网址=https://jobs.zhaopin.com/120564559253095.htm, 薪资待遇=10K-15K}
dataMap = {区域名称=, 公司代码=CZ130494460, 工作制度=全职, 公司规模=1000-9999人, 公司名称=深圳天源迪科信息技术股份有限公司, 招聘人数=1, 更新时间=2019-04-04 15:50:58, 招聘网址=https://company.zhaopin.com/CZ130494460.htm, 岗位简介=软件/互联网开发/系统集成,Java开发工程师, 公司类型=民营, 掌握技能=, 岗位名称=java开发工程师, 工作福利=周末双休,五险一金,年底双薪,带薪年假,节日福利,定期体检, 工作年限=3-5年, 创建时间=2019-04-04 15:50:57, 福利多多=周末双休,五险一金,年底双薪,带薪年假,节日福利, 学历底线=大专, 结束时间=2019-05-04 15:50:57, 所属城市=中山, 详情网址=https://jobs.zhaopin.com/CC130494465J00104064207.htm, 薪资待遇=8K-15K}
dataMap = {区域名称=竹苑, 公司代码=CZ232405810, 工作制度=全职, 公司规模=1000-9999人, 公司名称=北京东方国信科技股份有限公司, 招聘人数=1, 更新时间=2019-04-19 17:17:53, 招聘网址=https://company.zhaopin.com/CZ232405810.htm, 岗位简介=软件/互联网开发/系统集成,Java开发工程师, 公司类型=上市公司, 掌握技能=, 岗位名称=Java开发工程师（GY35clf）, 工作福利=节日福利,五险一金,年底双薪,定期体检,带薪年假, 工作年限=3-5年, 创建时间=2019-04-19 17:17:52, 福利多多=节日福利,五险一金,年底双薪,定期体检,带薪年假, 学历底线=本科, 结束时间=2019-07-18 17:17:52, 所属城市=中山, 详情网址=https://jobs.zhaopin.com/CC232405817J00108223209.htm, 薪资待遇=8K-15K}

......

智联中山java招聘信息共: 94 条
salaryMap = {4.5K-8K=1, 薪资面议=2, 5K-8K=6, 6K-12K=3, 6K-8K=9, 15K-30K=1, 5K-10K=6, 8K-12K=5, 4K-7K=2, 10K-15K=6, 4K-6K=8, 10K-20K=4}
05: 数据可视化, 网上很多可视化工具,使用的一个比较简单的展示一下

在这里插入图片描述
在这里插入图片描述

结束语
  • 看到数据的时候,我深呼吸了好几下,连忙安慰了一下自己.不哭,你要坚强…
  • 信息的说明这里就不阐述了,看图说话吧
  • 这里抓到的数据内容比较多,一个url就请求到了所有的信息了,这个是比较理想和比较舒服的
  • 这里抓到的数据只有94条,说明中山的IT行业(java)的企业等需求不高呀
  • 这里只分析了智联的中山java薪资,其实还可以可视化很多数据的,这里就不搞事了,有时间的话可以深入分析
  • 这个故事还没结束,高晓松说了上智联你更值,所以下次我再抓58,或者Boss直聘等招聘的信息做一个对比,那就有意思了,是不是更值不是你<高*松>说了算,我看数据说话…

在这里插入图片描述

IT加载中
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
爬虫分析智联_深圳_JAVA_薪资水平(对比中山)
JinglongSource的博客
04-27 469
找时间再续爬虫啦 智联爬虫未完现续~~~ 上一篇博客获取了中山的JAVA薪资水平, 并且数据可视化, 这次主要在于获取深圳的JAVA薪资水平, 顺便和中山对比一下, 你会发现一线城市和二线城市的IT薪资差异了… 上一篇博客 [ 爬虫分析智联_中山_java_薪资水平 ] http://shaines.cn/u/shy/blogs/25 https://blog.csdn.net/Jinglon...
智联招聘爬取工作岗位薪资分布以及岗位要求(python)
07-10
智联招聘爬取工作岗位薪资分布以及岗位要求(python),直接运行可用,需要自己下载依赖的包,比如scrapy,pandas,matplotlib等...可用根据百度和错误提示一步一步安装依赖包
java工资多少_java工资一般多少？为何人们都蜂拥而至？
weixin_32427471的博客
02-22 961
北京java开发工程师平均工资： 18620/月，取自 32524 份样本，较 2016 年，增长 55%北京地区Java工程师平均薪资上海java工程师平均工资：18520/月，取自 45986 份样本，较 2016 年，增长 56.7%上海地区Java工程师平均薪资广州java工程师平均工资：15450/月，取自 23794 份样本，较 2016 年，增长 58.4%广州地区Java工程师平均...
java 2018薪酬_数据告诉你，2018年真实薪资水平
weixin_29890403的博客
02-27 594
最新国家统计局报告1月25日的大瓜，应该属于国家统计局统计的'中等收入'人群，先给大家展示一下正文：1月25日周五，国家统计局公布2018年全国时间利用调查公报，中等收入群体就业工作时间最长，工作时间为7小时51分钟。2018年，国家统计局组织开展了第二次全国时间利用调查，该调查覆盖11个省(市)，采用国家统一的住户收支与生活状况调查样本框，共抽样调查20226户48580人(调查方案详见附注一)...
中山 java_中山java工资待遇,中山java工资在什么水平,中山java工资待遇能到多少...
weixin_35917052的博客
02-21 92
中山java工资待遇,中山java工资在什么水平,中山java工资待遇能到多少首页 > java > 中山java工资待遇作者：镀金池发布时间：2018-05-30 16:40那 么，如何向非程序员诠释什么是 JavaScript 呢。中山java工资待遇能到多少他们完整轻忽了javascript带来的更。中山java工资待遇public static java.util.Dat...
JAVA工程师的工资真的很高吗？
热门推荐
deng707273的博客
04-09 7万+
Java工程师是个高薪的行业，让不少人羡慕不已，有很多人因为Java的高薪而转行。这也是近几年Java如此火热的原因之一。也正是因为Java如此之多，所以不少想要学习Java语言的人不禁产生一个疑问：Java工程师工资真的很高吗？对于这个问题，小编为大家简单分析一下Java程序员高工资背后的原由。1.Java程序员的入职门槛相对比较高首先要计算机技术或是相关专业的大学生，原因有二，一是，Java对...
Java爬虫 智联招聘
12-26
智联招聘是中国知名的招聘网站，它提供了丰富的职位信息，而使用Java编写爬虫来抓取这些信息，可以帮助我们进行大数据分析，比如了解行业趋势、薪酬水平等。 首先，我们需要了解`jsoup`这个库。Jsoup是一款强大的...
智联招聘爬虫
04-27
最新的智联招聘爬虫，可根据工作关键字，以及选择的城市爬取招聘信息。
Python爬虫爬取智联招聘
05-29
Python爬虫爬取智联招聘（进阶版），Python爬虫爬取智联招聘
基于scrapy框架的智联招聘爬虫
06-27
【基于Scrapy框架的智联招聘爬虫】 在IT领域，网络爬虫是获取大量数据的重要工具，尤其在数据分析和信息挖掘中起着至关重要的作用。本项目关注的是使用Python的Scrapy框架来构建一个针对智联招聘网站的爬虫。Scrapy...
2021年中山地区程序员岗位薪酬水平报告-最新数据.pdf
06-01
2021年中山地区程序员岗位薪酬水平报告-最新数据.pdf
智联招聘抓取的北京市python岗位
04-22
智联招聘抓取的北京市python岗位
java简单网络爬虫
02-15
在这个项目中，我们专注于使用Java语言来创建一个基本的网络爬虫，它能够访问智联招聘网站，并提取出职位名称、公司名称、工作地点以及薪资等关键信息。下面我们将详细探讨这个过程涉及的Java技术和网络爬虫原理。 ...
现在学java，能拿到多少工资？
xx666zz的博客
12-19 3313
现在学习java，能拿到多少工资？当今时代，技术才是我们的铁饭碗，当然也是我们薪资的主要决定因素。现在靠谱的培训学校学生java就业薪资普遍薪资在8K以上，能力强者轻松破万，那java程序员怎样才能高薪就业呢？         一名3年工作经验的Java程序员应该具备的技能，这可能是Java程序员们比较关心的内容。我这里要说明一下，以下列举的内容不是都要会的东西—-但是如果你掌握得越多，能得到的
Java 工程师薪资不如 C、博士热度不如硕士，哪类程序员最受企业欢迎？
CSDN资讯
07-26 6377
什么样的程序员才最受科技公司的欢迎？近日，互联网招聘平台 100offer 最新发布了《2018 Q2 高端互联网人才流动报告》，通过筛选 2132 位中高端互联网人才数...
2020年5大一线城市Java薪资水平汇总，你还差多少呢？
xiaoxijing的博客
05-26 1万+
程序员作为薪资最高的行业之一，一直是很多人转行的热门首选行业。Java程序员又在所有程序员中占比最大， 因此，Java程序员的薪资就能够很好的代表行业的薪资水准。 今天就为大家整理5大热门城市的Java薪资情况，看看你还差多少，你又想拿多少？或者你希望去哪个城市发展呢？ 一、坐标：北京 1、城市平均薪资：21280元 2018年北京Java薪资 2020年最新北京Java薪资 在上图中，北京Java工程师平均薪资为21280/月，取自31944份样本，2018年为14830元。 其中月薪在10K以上的人
教你用Python爬网站数据，并用BI可视化分析！
weixin_72959097的博客
04-04 2022
两年时间里曾经换过一份工作，一直都是从事大数据相关的行业。目前是一家企业的BI工程师，主要工作就是给业务部门出报表和业务分析报告。回想自己过去的工作成绩也还算是不错的，多次通过自己分析告，解决了业务的疑难杂症，领导们各种离不开。但安逸久了总会有点莫名的慌张，所以我所在的这个岗位未来会有多大发展空间，十年之后我能成为什么样的人呢？自己的收入空间还有多少？一番惆怅之后，别再问路在何方了，于是抄起自己的“家伙”，花了一小会时间爬了智联招聘上BI岗位的数据信息，做了个分析。
python爬取智联招聘职位信息（单进程）
人生苦短， 还不用Python？
08-13 590
我们先通过百度搜索智联招聘，进入智联招聘官网，一看，傻眼了，需要登录才能查看招聘信息 没办法，用账号登录进去，登录后的网页如下： 输入职位名称点击搜索，显示如下网页： 把这个URL：https://sou.zhaopin.com/?jl=765&kw=软件测试&kt=3   拷贝下来，退出登录，再在浏览器地址栏输入复制下来的URL 哈哈，居然不用登录，也可以显示搜...
智联招聘 爬虫职位信息的爬取
weixin_41075201的博客
04-26 2243
1、电脑系统：ubuntu 18.04.5 LTS ；开发工具：pycharm;编译环境：anaconda3,python_vesion:Python 3.8;第三方库文件：Scrapy,selenium 2、下面就是代码了，想说的话都在注释里了 第一步：编写middlewares.py文件: from ScrapySpider.setting import USER_AGENT_LIST,PROXIY_LIST import base64 import random from selenium i
基于python爬虫智联招聘网岗位信息分析
最新发布
07-23
基于Python爬虫实现智联招聘网岗位信息分析是一种利用技术手段来收集、整理和分析智联招聘网站上的岗位信息的方法。下面我将从爬虫实现、数据收集和分析等方面进行说明。 首先，我们可以使用Python编写爬虫程序来...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值