大数据平台简介

  加入大数据大军已一年多了，一直以来都是从事传统数据仓库领域的工作，近一年开始接触基于大数据平台的数仓，并参与其中的数据开发。

  下面是一些常用的大数据平台组件分享，希望有帮助到从事大数据相关领域的你。

  首先，一门语言确实需要，不然也不好意思说是一枚程序员：R, C++, JAVA, Python等

  然后，

hadoop的基础：

1. 分布式存储基石： HDFS(分布式文件存储系统)
2. 分布式计算基础： MapReduce(一种编程模型，面向大数据并行处理的计算模型、框架和平台)
3. Hadoop集群资源管家： YARN(简单理解，就是用于协调资源和调度，为集群在利用率、资源统一管理和数据共享等方面带来了很大的便利)

离线数据处理：  大部分都是以离线数据处理为主

1. 离线日志收集利器： Flume
2. 离线批处理必备工具： Hive(也是我进行数据开发用的工具，主要是hivesql的使用)
3. 速度更快的Hive： Impala
4. 更快更强更好用的MR： Spark(也会使用sparksql来进行数据开发，比hive更快，但也要注意兼容性)

实时数据处理： 

1. 流数据集成神器： kafka
2. 实时计算引擎： spark streaming
3. 海量数据高速存取数据库： HBase

ETL与环境相关：

1. ETL神器： sqooq，Kettle，DataX(阿里开源的工具)   -- 通常熟练使用kettle就可以从事ETL工作了
2. 任务调度双量： Oozie，Azkaaban

  大数据涉及很多工具，每一个节点都可以找到开源的工具，还有大数据应用神器Kylin(OLAP分析引擎，很强大，不过比较消耗空间，空间换性能咯，现在存储设备也便宜，倒是划算)，可以先了解一些工具的作用，hadoop的基础还是要好好掌握的，其他工具择机学习一些，全部掌握难度很高，当然掌握了都可以从事大数据架构师了，很厉害的。

  --我现在也主要还在深入学习hive，希望多多交流