1、介绍hadoop的组件
hadoop有三个主要的核心组件:HDFS(分布式文件存储)、MAPREDUCE(分布式的计算)、YARN(资源调度),现在云计算包括大数据和虚拟化进行支撑。
在HADOOP(hdfs、MAPREDUCE、yarn)大数据处理技术框架,擅长离线数据分析.
Zookeeper分布式协调服务基础组件,Hbase 分布式海量数据库,离线分析和在线业务处理。
Hive sql数据仓库工具,使用方便,功能丰富,基于MR延迟大,可以方便对数据的分析,并且数据的处理可以自定义方法进行操作,简单方便。
Sqoop数据导入导出工具,将数据从数据库导入Hive,将Hive导入数据库等操作。
Flume数据采集框架,可以从多种源读取数据。
Azkaban对操作进行管理,比如定时脚本执行,有图形化界面,上传job简单,只需要将脚本打成包,可直接上传。
2、三大组件详细介绍参见博客
1、HDFS原理深入