本文详细介绍了Hadoop架构的四个层次，包括底层的存储、中间层的资源及数据管理、上层的计算引擎如MapReduce、Spark，以及顶层的服务。同时，列举了Hadoop的主要组件，如Pig和Hive提供了数据处理和仓库功能，HBase是分布式列式数据库，Sqoop用于数据导入，Flume处理流数据，Zookeeper协调集群，Oozie管理工作流程，Ambari简化集群管理和监控，Whirr支持云服务，Mahout提供机器学习算法，以及Apache Spark的通用计算能力。
1.hadoop架构？
①底层（存储）
②中间层（资源及数据管理）
③上层（MapReduce、Impala、Spark等计算引擎）
④顶层（服务）
2.Hadoop组件？
①Pig和Hive
Pig是一种编程语言，它简化了Hadoop常见的工作任务。Hive在Hadoop中扮演数据仓库的角色。Hive添加数据的结构在HDFS上，并允许使用类似于SQL语法进行数据查询。
②HBase、Sqoop及Flume
HBase作为面向列的数据库运行在HDFS之上。Sqoop从关系数据库导入数据到Hadoop，并可直接导入到HFDS或Hive。Flume直接将流数据或日志数据导入HDFS。
③Zookeeper和Oozie
随着计算节点的增多，集群成员需要彼此同步并了解去哪里访问服务和如何配置，ZooKeeper来完成这项工作。Oozie组件提供管理工作流程和依赖的功能。
④Ambari
最低0.47元/天 解锁文章
扫一扫
2015
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
