大数据平台是什么?

大数据平台目前业界也没有统一的定义，但一般情况下，使用了Hadoop、Spark、Storm、Flink等这些分布式的实时或者离线计算框架，建立计算集群，并在上面运行各种计算任务，这就是通常理解上的大数据平台。

大数据平台其实是根据业务需求来决定使用哪些框架或者哪些工具来搭建的平台，从而来实现完成业务需求。

1. Zookeeper：大数据领域里面一个分布式服务协调框架，主要是帮助其他的框架正常运行。
2. Hadoop：一个能够让用户轻松架构和使用的分布式计算平台。Hadoop有三大组件MapReducer，HDFS，YARN。
   • MapReducer：一个分布式的离线并行计算框架。
   • HDFS：一个高可靠、高吞吐量的分布式文件系统。

   • YARN：作业调度与集群资源管理的框架。

3. Hive：是一个基于Hadoop的数据仓库工具。
4. Flume：一个数据的采集工具。

5. Sqoop是在Hadoop生态体系和RDBMS体系之间传送数据的一种工具。

6. Azkaban：任务调度工具。

7. Oozie：任务调度工具，完全替代Azkaban。

8. Impala：完全替代Hive，比较耗内存。

9. Hue：管理工具，主要与其他各种框架整合。

10. Redis：内存数据库。NoSql数据库。

11. HBase：一个非惯性数据库，与Redis类似，是一个NoSql数据库。

12. Kafka：大数据中分布式消息队列。

13. Spark：专为大规模数据处理而设计的快速通用的计算引擎

14. Flink：与Spark类似，分布式流数据流引擎。

 

大家可以根据以下这张图来方便理解。