大数据入门，大数据到底是什么?这么学习？

什么是大数据

大数据本质也是数据，但是又有了新的特征，包括数据来源广、数据格式多样化（结构化数据、非结构化数据、Excel文件、文本文件等）、数据量大（最少也是TB级别的、甚至可能是PB级别）、数据增长速度快等。

针对以上主要的4个特征我们需要考虑以下问题：

1. 数据来源广，该如何采集汇总？，对应出现了Sqoop，Cammel，Datax等工具。

2. 数据采集之后，该如何存储？，对应出现了GFS，HDFS，TFS等分布式文件存储系统。

3. 由于数据增长速度快，数据存储就必须可以水平扩展。

4. 数据存储之后，该如何通过运算快速转化成一致的格式，该如何快速运算出自己想要的结果？

   对应的MapReduce这样的分布式运算框架解决了这个问题；但是写MapReduce需要Java代码量很大，所以出现了Hive，Pig等将SQL转化成MapReduce的解析引擎；

   普通的MapReduce处理数据只能一批一批地处理，时间延迟太长，为了实现每输入一条数据就能得到结果，于是出现了Storm/JStorm这样的低时延的流式计算框架；

   但是如果同时需要批处理和流处理，按照如上就得搭两个集群，Hadoop集群（包括HDFS+MapReduce+Yarn）和Storm集群，不易于管理，所以出现了Spark这样的一站式的计算框架，既可以进行批处理，又可以进行流处理（实质上是微批处理）。

5. 而后Lambda架构，Kappa架构的出现，又提供了一种业务处理的通用架构。

6. 为了提高工作效率，加快运速度，出现了一些辅助工具：

   • Ozzie，azkaban：定时任务调度的工具。
   • Hue，Zepplin：图形化任务执行管理，结果查看工具。
   • Scala语言：编写Spark程序的最佳语言，当然也可以选择用Python。
   • Python语言：编写一些脚本时会用到。
   • Allluxio，Kylin等：通过对存储的数据进行预处理，加快运算速度的工具。

以上大致就把整个大数据生态里面用到的工具所解决的问题列举了一遍，知道了他们为什么而出现或者说出现是为了解决什么问题，进行学习的时候就有的放矢了。

工作方向

大数据方向的工作目前主要分为三个主要方向:

1.大数据工程师
2.数据分析师
3.大数据科学家
4.其他（数据挖掘等）

 

三、学习路径

第一阶段（基础阶段）

1）Linux学习

1. Linux操作系统介绍与安装。
2. Linux常用命令。
3. Linux常用软件安装。
4. Linux网络。
5. 防火墙。
6. Shell编程等。                                                                                                                                                                                                                                                                                                                                                                                                                  2：Java 高级学习（《深入理解Java虚拟机》、《Java高并发实战》）                                                                                          1掌握多线程，2掌握并发包下的队列。3.了解JMS。4.掌握JVM技术。5.掌握反射和动态代理。                                                                                                                                                                                                                                                                             

   3）Zookeeper学习                                                                                                                                                                            1.Zookeeper集群的安装部署。2.Zookeeper数据结构、命令。3.Zookeeper的原理以及选举机制。                                                                                                                                                                                                                                                                              

   第二阶段（攻坚阶段）

   4）Hadoop （《Hadoop 权威指南》）—80小时

7. HDFS

   • HDFS的概念和特性。
   • HDFS的shell操作。
   • HDFS的工作机制。
   • HDFS的Java应用开发。

8. MapReduce

   • 运行WordCount示例程序。
   • 了解MapReduce内部的运行机制。 
     • MapReduce程序运行流程解析。
     • MapTask并发数的决定机制。
     • MapReduce中的combiner组件应用。
     • MapReduce中的序列化框架及应用。
     • MapReduce中的排序。
     • MapReduce中的自定义分区实现。
     • MapReduce的shuffle机制。
     • MapReduce利用数据压缩进行优化。
     • MapReduce程序与YARN之间的关系。
     • MapReduce参数优化。

9. MapReduce的Java应用开发                                                                                                                                                                            暂时就写这么多啦，希望大家在学习大数据的路上不迷茫，少走弯路，
   觉得有用的伙伴可以加下下面的大数据学习资料分享群 142973723
   至于那些打酱油和伸手党那就请绕道吧.