2021-01-15 hadoop 框架和hadoop 生态圈的概念梳理

hadoop 框架

HDFS 分布式文件系统  
MapReduce 海量计算数据  Shuffle 
Yarn 运算资源调度框架 

hadoop 生态圈

Flume 数据采集工具
Hue 交互组件  通过这个页面，方便交互式操作、集成平台需要的其他软件
Hive 基于大数据技术（文件系统+运算框架） 的SQL数据仓库工具 
      sql语句 转化成了 MapReduce 程序来操作HDFS当中的数据进行相关的计算分析

Impala sql语义级查询，基Hive 完成数据的快速查询分析

HBase 非关系型数据库
ETL 
  Sqoop 数据导入导出工具
  CDC 和 DataX 

ZooKeeper 分布式协调服务基础组件
Mahout：基于mapreduce/spark/flink等分布式运算框架的机器学习算法库

任务调度系统
    Oozie：工作流调度框架
    Azkaban
    AirFlow

Redis && Kafka