看过来!!!2017年,大数据已经从概念走向落地;2019年,中低端IT工程师紧随浪潮加速向大数据转型,企业对大数据人才争夺直接进入白热化阶段。因此,对于想学IT技术的、想月入过万不是梦的人而言,我建议,直接选择学习大数据技术是符合潮流和就业需求的选择。
一、大数据是什么?
1、大数据简介
一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。“数据量巨大就是大数据!”
2、大数据发展历程
我们常说的大数据技术,大致主要起源于Google在2004年前后发表的三篇论文,其实数据处理早就存在,每个公司或者个人都有自己的大数据处理系统,并没有形成编程框架和理念,而这三篇论文也就是我们熟知的大数据三驾马车,分别是分布式文件系统GFS、大数据分布式计算框架MapReduce和NoSQL数据库BigTable,这三篇论文影响了当今大数据生态,可以称得上大数据的基石,Doug cutting大佬在基于谷歌的三篇论文开发出了hadoop hdfs分布式文件存储、MapReduce计算框架,实际上从hadoop开源代码中窥见大数据并没有多么高深的技术难点,大部分实现都是基础的java编程,但是对业界的影响是非常深远的。
2006年hadoop发布后,Yahoo首先运用起来,随后越来越多大公司开始采用hadoop进行大数据存储和计算;
2008年hadoop 正式成为Apache顶级项目,许多大数据商业公司也开始出现,与此同时MapReduce编程模型编写较为复杂,Yahoo内部开发出了Pig一门脚本语言,提供类SQL的语法,开发者可以用pig脚本描述要对数据集进行的操作,Pig经过编译后会生成MapReduce程序,然后运行到Hadoop集群中。
3、大数据应有场景
大数据的应用对象可以简单的分为给人类提供辅助服务,以及为智能体提供决策服务。
大数据不仅包括企业内部应用系统的数据分析,还包括与行业、产业的深度融合。具体场景包括:互联网行业、政府行业、金融行业、传统企业中的地产、医疗、能源、制造、电信行业等等。通俗地讲“大数据就像互联网+,可以应用在各行各业",如电信、金融、教育、医疗、军事、电子商务甚至政府决策等。
对企业而言,大数据可提高工作效率,降低企业成本,精准营销带来更多客户。
对政府而言,可以利用大数进行统筹分析、提高管理效率、管理抓获犯罪分子等。
对个人而言,可以利用大数据更了解自己等。
二、大数据有哪些岗位?
大数据有哪些岗位,想必大家很好奇。现在我就带领大家去了解一下,大数据有哪些岗位。现在许多公司的大数据团队一般有“一个部门,三个小组”,一个部门指:大数据部门;三个小组指:大数据平台组、数据仓库组和数据分析组。
岗位架构图如下图所示:
每个岗位技术需求架构图如下图所示:
虽然都属于同一个部门,但三组的岗位要求却不一样。下面分别介绍三组的技术要求和工作重点。
1、大数据平台组
(1)工作重点
- 大数据平台的设计开发:参与大数据平台建设,包括架构设计以及开发实现。
- 大数据平台的运维:负责运维大数据平台解决方案的制定、设计和实施。
- 大数据应用系统的开发:结合应用需求,规划应用场景并开发实现,驱动业务发展。
(2)技术要求
- 大数据平台的设计开发:要求深入大数据生态体系,对Hadoop、Hive、Spark等分布式框架有深刻理解,通读主要源码,有大数据项目构建经验。
- 大数据平台的运维:要求跟进HDFS、Yarn、HBase、Spark、KafKa、ELK等生态组件的落地实践,要求精通Hadoop、MapReduce、Hive、Spark等原理以及常见运维问题解决,熟悉ELK框架等。
- 大数据应用系统的开发:要求掌握常用的编程语言(如:Python、Java、Scala等)以及框架(如:大数据生态体系)。
2、数据仓库组
(1)工作重点
负责数据仓库等设计、建模、ETL任务开发等工作。
数仓在小组内一般都是一群人干活,业务分析、数仓设计、任务开发等都需要做。
(2)技术要求
拿数仓开发来说,负责把业务系统的数据抽取到数据仓库(工具人干的活),然后根据分析应用需求,建设数仓模型,开发对应的ETL任务,形成多个主题的分析模型,供分析师和业务系统调用。要求掌握ETL相关工具的使用。
3、数据分析组
(1)工作重点
负责对海量业务数据进行分析挖掘,满足研发和运营等部门对业务和决策需求。
(2)技术要求
- 数据分析师:对数据有良好的敏感性,能够通过数据察觉到背后的业务变化和潜在问题,熟悉常用的数据分析方法,具备相关项目经验,熟悉数据分析原理以及方案。
- 算法工程师:深入理解数据挖掘、机器学习算法原理,具备优秀的数据建模能力,能够根据实际问题选择合适的模型和算法。能够结合业务需求,开发相应的算法模型。
- 数据产品经理:数据普通产品经理的技能之外,还需要具备数据分析技能,并了解整个大数据应用建设的流程,一般需要有数据相关技术背景。
三、大数据就业前景
1、就业前景
在数字经济时代,人们的生活随着大数据、云计算、人工智能的快速发展,正在发生着越来越深的变革。大数据更是被认为是“未来的新石油”,在经济建设和社会生活中发挥的作用日益凸显。
自2015年国务院颁布《促进大数据发展行动纲要》后,大数据正式上升为国家发展战略,而2016年由工信部印发的《大数据产业发展规划(2016-2020年)》则掀起了大数据产业建设的浪潮。随着5G和物联网的发展,业界对更为高效、绿色的数据中心和云计算技术设施的需求越发升高,大数据基础层持续保持高速增长,《2020中国大数据产业发展白皮书》显示,2019年中国大数据产业规模达5397亿元,同比增长23.1%,预计到2022年将突破万亿元,持续促进传统产业转型升级,激发经济增长活力,助力新型智慧城市和数字经济建设。
当今时代,大数据应用的价值已经展露在各行各业中,而大数据人才的供不应求也是目前大数据行业面临的一大困境。预计2020年中国大数据行业的人才需求规模将达到210万,2025年前大数据需求仍将保持30%-40%的增速,需求总量在2000万人左右。早入门早挣钱!
2、就业现状
基于对多家大数据行业典型企业的人力资源情况进行调研后分析,大数据行业的就业人群现状主要表现在以下四个方面:
(1)学历
从学历层次来看,我国大数据人才的学历层次分为4个大类,分别是硕士及以上、本科、专科、专科以下,其中本科学历的大数据人才最多,占到高达65.45%的比例,其次是硕士及以上,而专科及以下学历的大数据人才仅占一小部分。本科比较吃香!
(2)专业
在专业来源方面,我国大数据人才的专业来源主要由数理类、经济管理类、计算机类及其他专业四大类构成,其中计算机类占比最高,其次是数理类。计算机类、数理类专业赶紧冲!
(3)渠道
大数据人才的渠道来源分为4个大类,分别是校招、社招、内部培养和推荐、培训机构招聘。企业大数据人才各渠道来源的人数和占比见下图。社会需求大!
(4)薪水
当前,大数据人才的薪资处于相对较高水平。薪资在1万元以下,占总人数的34.6%;1万元-2万元占比为35.64%;2万以上占比为29.77%。男生、女生,月入过万不是梦!