2019最全的大数据技术解读，如何4个月掌握大数据核心技术？

第一：什么是大数据

来看看维基百科的定义

大数据（英语：Big data或Megadata），或称巨量数据、海量数据、大资料，指的是所涉及的数据量规模巨大到无法通过人工，在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息。

在总数据量相同的情况下，与个别分析独立的小型数据集相比，将各个小型数据集合并后进行分析可得出许多额外的信息和数据关系性，可用来察觉商业趋势、判定研究质量、避免疾病扩散、打击犯罪或测定实时交通路况等；这样的用途正是大型数据集盛行的原因。

上面那段看起来比较绕，可以一起看看通俗解释：

如果你是负责做淘宝网的产品推荐工作的，想知道购买首饰的用户是否也会购买电子产品，然后再决定是否给三星做推荐。

在这种条件下就需要调用前一段时间（例如一年）的用户数据，只有通过大量数据的证明才能确认两者是否有关联性，如果使用传统数据处理方法，就会耗费大量时间，等确认正相关的时候，三星的促销期都已经过去了，而像淘宝、京东等每天数据量动辄以TB计数，要迅速处理、分析并给出精准恰当的投放推荐，这就是大数据的作用。

以上理解大数据可能有些抽象，那么请大家看完以下的一个故事，这样理解大数据，小学毕业也可以看明白了！

在这里我还是要推荐下我自己建的大数据学习交流qq裙：458345782， 裙 里都是学大数据开发的，如果你正在学习大数据 ，小编欢迎你加入，大家都是软件开发党，不定期分享干货（只有大数据开发相关的），包括我自己整理的一份最新的大数据进阶资料和高级开发教程，欢迎进阶中和进想深入大数据的小伙伴。

看看对当老板的、当领导的或当老师的等等有什么启发和帮助？

必胜客店的电话铃响了。

客服拿起电话：必胜客。您好! 请问有什么需要我为您服务？

顾客：你好！ 我想要一份……

客服：先生，请先把您的会员卡号告诉我，好吗？

顾客：16846146***。

客服：陈先生，您好！您是住在泉州路一号12楼1205室。您家电话是2646****，您公司电话是4666****，您的手机是1391234****。请问您想用哪一个电话付费？

顾客：你为什么知道我所有的电话号码？

客服：陈先生，因为我们联机CRM系统。

顾客：我想要一个海鲜比萨……

客服：陈先生，海鲜比萨不适合您。

顾客：为什么？

客服：根据您的医疗记录，你的血压和胆固醇都偏高。

顾客：那你有什么可以推荐的？

客服：您可以试试我们的低脂健康比萨。

顾客：你怎么知道我会喜欢这种的？

客服：您上星期一在国家图书馆借了一本《低脂健康食谱》。

顾客：好。那我要一个家庭大号比萨。

客服：陈先生，大号的不够吃。

顾客：为什么？

客服：因为您家一共有六口人。来个特大号的，怎样？

顾客：要付多少钱？

客服：99元。这个足够您一家六口吃了。但您母亲应该少吃，她上个月刚刚做了心脏搭桥手术，还处在恢复期。

顾客：那可以刷卡吗？

客服：陈先生，对不起。请您付现款。

顾客：你们不是可以刷卡的吗？

客服：一般是可以的。但是您的信用卡已经刷爆了，您现在还欠银行4807元，而且还不包括您的房贷利息。

顾客：那我先去附近的提款机提款。

客服：陈先生，根据您的记录，您已经超过今日提款限额了。

顾客：算了，你们直接把比萨送我家吧，家里有现金。你们多久会送到？

客服：大约30分钟。如果您不想等，可以自己骑摩托车来取。

顾客：为什么？

客服：根据我们CRM全球定位系统车辆行驶自动跟踪记录显示，您登记的一辆车号为SB-748的摩托车，目前正在解放路东段华联商场右侧行驶，离我们店只有50米。

顾客:好吧（头开始晕）

客服：陈先生，建议您再带一小份海鲜比萨。

顾客：为什么？你不是说我不能吃吗？

客服：根据我们CRM通讯系统分析，今天您与一位女性通话频率高、时间长，今天又是2.14，我们分析应该是您的情人，而这位手机用户近来一直买的是海鲜比萨，她应该喜欢这种口味。

顾客：…………

客服：您最好现在就送回家，否则您就不方便出来了。

顾客：为什么？

客服：根据我们定位系统，您的爱人大约30分钟后到家。

顾客：我为什么要出来？

客服：您已在汇峰酒店定了今晚的房间，估计您是与情人约会吧？

顾客：当即晕倒…………

这就是大数据！？

第二:目前的大数据就业形势

大数据，有人称之为新一代“网红”。纵观现在互联网企业，大都离不开大数据岗位人才。

特别是在国家政策持续推动下，大数据产业落地进程更快，产业价值被进一步发掘。2017年我国大数据市场规模已达358亿元，年增速达到47.3%，规模已是2012年的35亿元的10倍。预计2020年，我国大数据市场规模将达到731亿元。

同时，据最新的大数据人才报告显示，目前全国仅有46万大数据人才，而未来3-5年预估缺口高达150万。

可见大数据岗位人才还是十分紧缺和有前景的！

就业岗位方向

数据分析师

01

以北京、杭州两地为例，数据分析师的平均月薪分别达到17470/月，13400/月，较之2016年，分别增长74.3%，45.7%。

大数据开发工程师

02

以北京、杭州两地为例，大数据开发工程师的平均月薪分别达到31880/月，11830/月。

Hadoop开发工程师

03

以北京、杭州两地为例，Hadoop开发工程师的平均月薪分别达到22960/月，19870/月，较之2016年，分别增长32%，30.7%。

数据挖掘工程师

以北京、杭州两地为例，数据挖掘工程师的平均月薪分别达到29370/月，21090/月，较之2016年，分别增长58.8%，48%。

算法工程师

05

以北京、杭州两地为例，算法工程师的平均月薪分别达到30210/月，23300/月，较之2016年，分别增长72%，64.2%。

第三：学完大数据可以胜任什么职位？

 

一、ETL研发

企业数据种类与来源的不断增加，对数据进行整合与处理变得越来越困难，企业迫切需要一种有数据整合能力的人才。ETL开发者这是在此需求基础下而诞生的一个职业岗位。ETL人才在大数据时代炙手可热的原因之一是：在企业大数据应用的早期阶段，Hadoop只是穷人的ETL。

二、Hadoop开发

随着数据规模不断增大，传统BI的数据处理成本过高企业负担加重。而Hadoop廉价的数据处理能力被重新挖掘，企业需求持续增长。并成为大数据人才必须掌握的一种技术。

三、可视化工具开发

可视化开发就是在可视化工具提供的图形用户界面上，通过操作界面元素，有可视化开发工具自动生成相关应用软件，轻松跨越多个资源和层次连接所有数据。过去，数据可视化属于商业智能开发者类别，但是随着Hadoop的崛起，数据可视化已经成了一项独立的专业技能和岗位。

四、信息架构开发

大数据重新激发了主数据管理的热潮。充分开发利用企业数据并支持决策需要非常专业的技能。信息架构师必须了解如何定义和存档关键元素，确保以最有效的方式进行数据管理和利用。信息架构师的关键技能包括主数据管理、业务知识和数据建模等。

五、数据仓库研究

为方便企业决策，出于分析性报告和决策支持的目的而创建的数据仓库研究岗位是一种所有类型数据的战略集合。为企业提供业务智能服务，指导业务流程改进和监视时间、成本、质量和控制。

六、OLAP开发

OLAP在线联机分析开发者，负责将数据从关系型或非关系型数据源中抽取出来建立模型，然后创建数据访问的用户界面，提供高性能的预定义查询功能。

七、数据科学研究

数据科学家是一个全新的工种，能够将企业的数据和技术转化为企业的商业价值。随着数据学的进展，越来越多的实际工作将会直接针对数据进行，这将使人类认识数据，从而认识自然和行为。

八、数据预测分析

营销部门经常使用预测分析预测用户行为或锁定目标用户。预测分析开发者有些场景看上有有些类似数据科学家，即在企业历史数据的基础上通过假设来测试阈值并预测未来的表现。

九、企业数据管理

企业要提高数据质量必须考虑进行数据管理，并需要为此设立数据管家职位，这一职位的人员需要能够利用各种技术工具汇集企业周围的大量数据，并将数据清洗和规范化，将数据导入数据仓库中，成为一个可用的版本。

十、数据安全研究

数据安全这一职位，主要负责企业内部大型服务器、存储、数据安全管理工作，并对网络、信息安全项目进行规划、设计和实施。

第三：大数据学习线路

大数据是对海量数据进行存储、计算、统计、分析处理的一系列处理手段，处理的数据量通常是TB级，甚至是PB或EB级的数据，这是传统数据处理手段所无法完成的，其涉及的技术有分布式计算、高并发处理、高可用处理、集群、实时性计算等，汇集了当前IT领域热门流行的IT技术。大数据入门，需要学习以下这些知识点：

 

1、Java编程技术

Java编程技术是大数据学习的基础，Java是一种强类型语言，拥有极高的跨平台能力，可以编写桌面应用程序、Web应用程序、分布式系统和嵌入式系统应用程序等，是大数据工程师最喜欢的编程工具，因此，想学好大数据，掌握Java基础是必不可少的。

2、Linux命令

对于大数据开发通常是在Linux环境下进行的，相比Linux操作系统，Windows操作系统是封闭的操作系统，开源的大数据软件很受限制，因此，想从事大数据开发相关工作，还需掌握Linux基础操作命令。

3、Hadoop

Hadoop是大数据开发的重要框架，其核心是HDFS和MapReduce，HDFS为海量的数据提供了存储，MapReduce为海量的数据提供了计算，因此，需要重点掌握，除此之外，还需要掌握Hadoop集群、Hadoop集群管理、YARN以及Hadoop高级管理等相关技术与操作!

4、Hive

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行，十分适合数据仓库的统计分析。对于Hive需掌握其安装、应用及高级操作等。

5、Avro与Protobuf

Avro与Protobuf均是数据序列化系统，可以提供丰富的数据结构类型，十分适合做数据存储，还可进行不同语言之间相互通信的数据交换格式，学习大数据，需掌握其具体用法。

6、ZooKeeper

ZooKeeper是Hadoop和Hbase的重要组件，是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组件服务等，在大数据开发中要掌握ZooKeeper的常用命令及功能的实现方法。

7、HBase

HBase是一个分布式的、面向列的开源数据库，它不同于一般的关系数据库，更适合于非结构化数据存储的数据库，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，大数据开发需掌握HBase基础知识、应用、架构以及高级用法等。

8、phoenix

phoenix是用Java编写的基于JDBC API操作HBase的开源SQL引擎，其具有动态列、散列加载、查询服务器、追踪、事务、用户自定义函数、二级索引、命名空间映射、数据收集、行时间戳列、分页查询、跳跃查询、视图以及多租户的特性，大数据开发需掌握其原理和使用方法。

9、Redis

Redis是一个key-value存储系统，其出现很大程度补偿了memcached这类key/value存储的不足，在部分场合可以对关系数据库起到很好的补充作用，它提供了Java，C/C++，C#，PHP，JavaScript，Perl，Object-C，Python，Ruby，Erlang等客户端，使用很方便，大数据开发需掌握Redis的安装、配置及相关使用方法。

10、Flume

Flume是一款高可用、高可靠、分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(可定制)的能力。大数据开发需掌握其安装、配置以及相关使用方法。

11、SSM

SSM框架是由Spring、SpringMVC、MyBatis三个开源框架整合而成，常作为数据源较简单的web项目的框架。大数据开发需分别掌握Spring、SpringMVC、MyBatis三种框架的同时，再使用SSM进行整合操作。

12、Kafka

Kafka是一种高吞吐量的分布式发布订阅消息系统，其在大数据开发应用上的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。大数据开发需掌握Kafka架构原理及各组件的作用和使用方法及相关功能的实现。

13、Scala

Scala是一门多范式的编程语言，大数据开发重要框架Spark是采用Scala语言设计的，想要学好Spark框架，拥有Scala基础是必不可少的，因此，大数据开发需掌握Scala编程基础知识!

14、Spark

Spark是专为大规模数据处理而设计的快速通用的计算引擎，其提供了一个全面、统一的框架用于管理各种不同性质的数据集和数据源的大数据处理的需求，大数据开发需掌握Spark基础、SparkJob、Spark RDD、spark job部署与资源分配、Spark shuffle、Spark内存管理、Spark广播变量、Spark SQL、Spark Streaming以及Spark ML等相关知识。

15、Azkaban

Azkaban是一个批量工作流任务调度器，可用于在一个工作流内以一个特定的顺序运行一组工作和流程，可以利用Azkaban来完成大数据的任务调度，大数据开发需掌握Azkaban的相关配置及语法规则。

16、Python与数据分析

Python是面向对象的编程语言，拥有丰富的库，使用简单，应用广泛，在大数据领域也有所应用，主要可用于数据采集、数据分析以及数据可视化等，因此，大数据开发需学习一定的Python知识。

在这里我还是要推荐下我自己建的大数据学习交流qq裙：458345782， 裙 里都是学大数据开发的，如果你正在学习大数据 ，小编欢迎你加入，大家都是软件开发党，不定期分享干货（只有大数据开发相关的），包括我自己整理的一份最新的大数据进阶资料和高级开发教程，欢迎进阶中和进想深入大数据的小伙伴。