使用Spark分析拉勾网招聘信息(一):准备工作

原创 2016年08月31日 09:44:48

本系列专属github地址:https://github.com/ios122/spark_lagou

前言

我觉得如果动笔,就应该努力地把要说的东西表达清楚.今后一段时间,尝试下系列博客文章.简单说,如果心里想表达想分享的,就适当规划组织下,使其相对自成体系,以便于感兴趣但可能刚好某个领域还不是很熟的人,也能很好地入手.系列文章,我会努力避免过于主观化的描述,同时吸取以往的经验,尽量给每个系列的文章都设置一个单独的 github 项目,供查阅参考.

Spark 系列文章规划

Spark系列,因为本人并非供职于大型数据公司,也未曾在较大数据集上实践过,所以内容可能仅供初级入门者参考.目前,我处理过的较大的数据集,也仅在百万条左右,但是也不得不惊叹 Spark 做为数据分析工具的便利性,100w条数据,在3台BMR服务器结点上,复杂查询一般在十秒以内.从数据分析的工具角度,我觉得 Spark 还是有必要了解的,大多数时候,基于数据的多个维度分析出的结论,可能比某些抽象的统计数据,能有说服力.

数据源: 拉勾网 iOS 职位最近一个月的公开招聘信息

以拉勾网 iOS 职位最近一个月的公开招聘信息作为样本.这是一个样本,到时我会具体说一下数据获取的方法和思路,还会奉上可用的脚本.

数据分析工具:Spark.

Spark是主要分析工具.我前一段时间,看了那本<

数据分析平台: 百度BMR

我会直接基于百度BMR来分析数据.至今,我没有试过自己搭建spark开发环境,也暂无打算研究.因为我觉得,大数据的分析,硬件还是挺贵的,好在现在有云平台,即开即用,用完释放掉即可.还有一个原因是,单机版的Spark和分布式的Spark,某些函数的行为还是有差异的.我看阿里云,也有类似的大数据分析平台,应该也是可以的.

准备事宜

实名认证的百度开发者账号,注册请到 https://login.bce.baidu.com 因为必须是实名认证的百度开发者账号,才可以创建 BMR 实例,没有账号,可能会影响到你观察文章的体验.因为这个实名认证要审核的,最好提前弄.

文章更新具体规划

使用Spark分析拉勾网招聘信息(一):准备工作

交代基本背景,动机与必要准别事宜等,为进一步文章铺垫.

使用Spark分析拉勾网招聘信息(二): 获取数据

使用脚本自动获取数据,会涉及数据源的分析,脚本编写思路,以及一个最终可用的脚本和实际采集的完整数据附件.

使用Spark分析拉勾网招聘信息(三): BMR 入门

主要讲解百度大数据平台BMR的基础操作与常用工具的使用.当然电脑性能较为强悍的童鞋,可以自己安装研究下Hadoop,Spark和Zeepline等工具.用BMR,比较省钱,按分钟计费,一小时 2块左右,我通常只是有感兴趣的数据题材时才开启.顺便插一句,以数据的视角,自由组合维度来观察某些自己关心的数据,真的看出来许多刷新自己认知的真实.不过,考虑到工具的可扩展性,我还是建议掌握下 BMR或者阿里的大数据平台的基础使用.

使用Spark分析拉勾网招聘信息(四): 几个常用的脚本与图片分析结果

这里,会结合数据结构,展示下数据分析与提取的基本思路,然后会选几个角度分析下数据.方法是根本,简单了解下,再多看看 spark 和 scala 文档,我相信大家是可以自由使用Spark来分析自己感兴趣的数据的.


版权声明: iOS122 颜风 署名系列文章,每日 7:20 首发于微信公众号 iOS122gg,其他平台次日10点更新.除各大博客平台的iOS122官方专栏外,其他任何用途的转载与使用,请务必注明出处!

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

使用Spark分析拉勾网招聘信息(三): BMR 入门

简述本文,意在以最小的篇幅,来帮助对大数据和Spark感兴趣的小伙伴,能尽快搭建一个可用的Spark开发环境.力求言简意赅.文章,不敢自称BMR的最佳实践,但绝对可以帮助初学者,迅速入门,能够专心于S...

使用Spark分析拉勾网招聘信息(二): 获取数据

要获取什么样的数据?我们要获取的数据,是指那些公开的,可以轻易地获取地数据.如果你有完整的数据集,肯定是极好的,但一般都很难通过还算正当的方式轻易获取.单就本系列文章要研究的实时招聘信息来讲,能获取最...

使用Jsoup采集拉勾网招聘信息

使用Jsoup多线程采集拉勾网招聘信息,并将数据解析后保存在csv文件中。
  • baalhuo
  • baalhuo
  • 2016年09月12日 11:02
  • 1069

[jjzhu学python]之使用python抓取拉勾网职位信息并做简单统计分析

自写的python爬虫,简单的实现了抓取拉勾网的一些职位信息,简单运用了多线程,后期再多这些信息进行统计,做点简单的分析,...

"新方法"爬虫==拉勾网招聘信息

一种自己以前完全没接触过的方法只要有你,每次都看我的锁薇女神老师的教学视频还有两年快毕业了,所以对毕业工作的事情很是上心啊 这种方法还没弄清楚呢,所以呢趁着还有印象先把记录下来 以免自己的脑子给忘记了...

Java爬虫拉勾网招聘信息生成Excel表格

项目地址 https://github.com/ishare20/JobInformation思路: - 明确需要爬取的信息 - 分析网页结构 - 分析爬取流程 - 优化明确需要爬取的信息职...

python3爬取拉勾网招聘信息存为excel格式

#encoding:utf-8 import json # 使用json解码 因为拉勾网的格式是json import requests # 使用这个requests是得到网页源码 import ...

【Python】抓取拉勾网全国Python的招聘信息

分析寻找目标url 打开firebug,切换到 XHR 面板 在拉勾网首页中搜索python关键字,地区选全国 可以看到下图的信息 目标url为:http://www.lagou.com/jobs/p...

获取拉勾网招聘信息数据

使用 curl 模拟 ajax 请求获取数据 1、找到目标城市和目标职位,然后按“最新排序”。 链接为:https://www.lagou.com/jobs/list_iOS?px=new...

使用scrapy爬取拉勾网职位信息

今天使用scrapy实现了一个爬取拉勾网上的职位信息字段,并保存到数据库的爬虫,先看下效果: 导出json格式如下: 创建Spider之前在创建spider的时候,都是使用有genspider...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:使用Spark分析拉勾网招聘信息(一):准备工作
举报原因:
原因补充:

(最多只允许输入30个字)