【自学成才】hadoop安装小问题

本文介绍了Hadoop生态系统中的关键组件,包括Hadoop Common提供的基础工具、Avro用于RPC通信的改进方案、Chukwa的大集群监控功能、HBase的分布式列存储数据库特性、HDFS的分布式文件系统原理、Hive提供的数据仓库服务、MapReduce的数据处理框架、Pig的高级查询语言应用、以及ZooKeeper在分布式系统中的协调作用。
摘要由CSDN通过智能技术生成

成员名 用途
Hadoop Common Hadoop Common HadoopHadoop Common Hadoop Hadoop Common Hadoop Common HadoopHadoop Common HadoopHadoop Common HadoopHadoop Common HadoopHadoop Common HadoopHadoop Common Hadoop Hadoop Common HadoopHadoop Common Hadoop体系最底层的一个模块,为 体系最底层的一个模块,为 体系最底层的一个模块,为 体系最底层的一个模块,为 体系最底层的一个模块,为 体系最底层的一个模块,为 Hadoop HadoopHadoop各子项目提供种工具,如: 各子项目提供种工具,如: 各子项目提供种工具,如: 各子项目提供种工具,如: 各子项目提供种工具,如: 各子项目提供种工具,如: 配置文件和日志操作等。 配置文件和日志操作等。 配置文件和日志操作等。 配置文件和日志操作等。 配置文件和日志操作等。
Avro AvroAvro Avro Avro AvroAvro Avro Avro AvroAvro AvroAvro Avro是 doug cutting doug cutting doug cutting doug cuttingdoug cuttingdoug cutting doug cutting主持的 RPC RPC项目,有点类似 项目,有点类似 项目,有点类似 项目,有点类似 GoogleGoogleGoogleGoogleGoogle 的 protobuf protobufprotobufprotobufprotobuf protobuf和 FacebookFacebook Facebook FacebookFacebook的 thriftthrift 。 avroavroavroavro用来做以后 用来做以后 用来做以后 hadoop hadoop hadoophadoop的 RPC RPC,使 hadoop hadoop hadoophadoop的 RPC RPC模块通信速度更快、数据结构紧凑。 模块通信速度更快、数据结构紧凑。 模块通信速度更快、数据结构紧凑。 模块通信速度更快、数据结构紧凑。 模块通信速度更快、数据结构紧凑。 模块通信速度更快、数据结构紧凑。 模块通信速度更快、数据结构紧凑。 模块通信速度更快、数据结构紧凑。
Chukwa Chukwa Chukwa Chukwa Chukwa Chukwa 是基于 是基于 Hadoop Hadoop HadoopHadoop的大集群监控系统,由 的大集群监控系统,由 的大集群监控系统,由 的大集群监控系统,由 的大集群监控系统,由 yahooyahoo yahooyahoo贡献。 贡献。
HBase HBase HBase 基于 Hadoop Distributed File System Hadoop Distributed File SystemHadoop Distributed File System Hadoop Distributed File SystemHadoop Distributed File SystemHadoop Distributed File SystemHadoop Distributed File System Hadoop Distributed File System Hadoop Distributed File System Hadoop Distributed File System Hadoop Distributed File System Hadoop Distributed File SystemHadoop Distributed File SystemHadoop Distributed File SystemHadoop Distributed File SystemHadoop Distributed File System ,是一个开源的基于列存储模型分布式数据库。 ,是一个开源的基于列存储模型分布式数据库。 ,是一个开源的基于列存储模型分布式数据库。 ,是一个开源的基于列存储模型分布式数据库。 ,是一个开源的基于列存储模型分布式数据库。 ,是一个开源的基于列存储模型分布式数据库。 ,是一个开源的基于列存储模型分布式数据库。 ,是一个开源的基于列存储模型分布式数据库。 ,是一个开源的基于列存储模型分布式数据库。 ,是一个开源的基于列存储模型分布式数据库。 ,是一个开源的基于列存储模型分布式数据库。 ,是一个开源的基于列存储模型分布式数据库。 ,是一个开源的基于列存储模型分布式数据库。
HDFS HDFS HDFS 分布式文件系统 分布式文件系统 分布式文件系统 分布式文件系统
Hive hive Hive hive Hive hive Hive hiveHive hive类似 CloudBase CloudBase CloudBase CloudBase,也是基于 ,也是基于 ,也是基于 hadoop hadoop hadoophadoop分布式计算平台上的提供 分布式计算平台上的提供 分布式计算平台上的提供 分布式计算平台上的提供 分布式计算平台上的提供 分布式计算平台上的提供 data warehouse data warehousedata warehouse data warehousedata warehouse data warehousedata warehouse data warehouse data warehouse的 sqlsql 功能的一套软件。使得存储在 功能的一套软件。使得存储在 功能的一套软件。使得存储在 功能的一套软件。使得存储在 功能的一套软件。使得存储在 功能的一套软件。使得存储在 hadoop hadoop hadoophadoop里面的海量数据汇总,即席查询简单化。 里面的海量数据汇总,即席查询简单化。 里面的海量数据汇总,即席查询简单化。 里面的海量数据汇总,即席查询简单化。 里面的海量数据汇总,即席查询简单化。 里面的海量数据汇总,即席查询简单化。 里面的海量数据汇总,即席查询简单化。 里面的海量数据汇总,即席查询简单化。 里面的海量数据汇总,即席查询简单化。 hive hivehive提供 了一套 了一套 QL 的查询语言,以 的查询语言,以 的查询语言,以 的查询语言,以 sqlsql 为基础,使用起来很方便。 为基础,使用起来很方便。 为基础,使用起来很方便。 为基础,使用起来很方便。 为基础,使用起来很方便。 为基础,使用起来很方便。
MapR MapR educe educe educe 实现了 实现了 MapReduce MapReduce MapReduceMapReduce MapReduce 编程框架 编程框架 编程框架
Pig PigPig Pig Pig PigPig PigPig Pig 是 SQLSQL -like likelike语言,是在 语言,是在 语言,是在 MapReduceMapReduce MapReduceMapReduce MapReduce上构建的一种高级查询语言,把些运算编译进 上构建的一种高级查询语言,把些运算编译进 上构建的一种高级查询语言,把些运算编译进 上构建的一种高级查询语言,把些运算编译进 上构建的一种高级查询语言,把些运算编译进 上构建的一种高级查询语言,把些运算编译进 上构建的一种高级查询语言,把些运算编译进 上构建的一种高级查询语言,把些运算编译进 上构建的一种高级查询语言,把些运算编译进 上构建的一种高级查询语言,把些运算编译进 上构建的一种高级查询语言,把些运算编译进 MapReduce MapReduce MapReduce MapReduce模型的 模型的 Map Map和 ReduceReduce Reduce中,并且用户可以定义自己的功能。 中,并且用户可以定义自己的功能。 中,并且用户可以定义自己的功能。 中,并且用户可以定义自己的功能。 中,并且用户可以定义自己的功能。 中,并且用户可以定义自己的功能。 中,并且用户可以定义自己的功能。 中,并且用户可以定义自己的功能。 中,并且用户可以定义自己的功能。 YahooYahoo YahooYahoo网格运算部门 网格运算部门 网格运算部门 开发的又一个克隆 开发的又一个克隆 开发的又一个克隆 开发的又一个克隆 GoogleGoogleGoogleGoogleGoogle 的项目 的项目 SawzallSawzallSawzallSawzallSawzall Sawzall。
ZooKeeper ZookeeperZooKeeper ZookeeperZooKeeper ZookeeperZooKeeper ZookeeperZooKeeper Zookeeper ZooKeeper Zookeeper ZooKeeper ZookeeperZooKeeper ZookeeperZooKeeper ZookeeperZooKeeper ZookeeperZooKeeper ZookeeperZooKeeper ZookeeperZooKeeper Zookeeper ZooKeeper ZookeeperZooKeeper Zookeeper 是 GoogleGoogleGoogleGoogleGoogle 的 Chubby ChubbyChubbyChubby一个开源的实现。它是针对大型分布式系统 一个开源的实现。它是针对大型分布式系统 一个开源的实现。它是针对大型分布式系统 一个开源的实现。它是针对大型分布式系统 一个开源的实现。它是针对大型分布式系统 一个开源的实现。它是针对大型分布式系统 一个开源的实现。它是针对大型分布式系统 一个开源的实现。它是针对大型分布式系统 一个开源的实现。它是针对大型分布式系统 一个开源的实现。它是针对大型分布式系统 的可靠协调系统,提供功能包括:配置维护、名字服务分布式同步组等。 的可靠协调系统,提供功能包括:配置维护、名字服务分布式同步组等。 的可靠协调系统,提供功能包括:配置维护、名字服务分布式同步组等。 的可靠协调系统,提供功能包括:配置维护、名字服务分布式同步组等。 的可靠协调系统,提供功能包括:配置维护、名字服务分布式同步组等。 的可靠协调系统,提供功能包括:配置维护、名字服务分布式同步组等。 的可靠协调系统,提供功能包括:配置维护、名字服务分布式同步组等。 的可靠协调系统,提供功能包括:配置维护、名字服务分布式同步组等。 的可靠协调系统,提供功能包括:配置维护、名字服务分布式同步组等。 的可靠协调系统,提供功能包括:配置维护、名字服务分布式同步组等。 的可靠协调系统,提供功能包括:配置维护、名字服务分布式同步组等。 的可靠协调系统,提供功能包括:配置维护、名字服务分布式同步组等。 的可靠协调系统,提供功能包括:配置维护、名字服务分布式同步组等。 的可靠协调系统,提供功能包括:配置维护、名字服务分布式同步组等。 的可靠协调系统,提供功能包括:配置维护、名字服务分布式同步组等。 的可靠协调系统,提供功能包括:配置维护、名字服务分布式同步组等。 的可靠协调系统,提供功能包括:配置维护、名字服务分布式同步组等。 的可靠协调系统,提供功能包括:配置维护、名字服务分布式同步组等。 的可靠协调系统,提供功能包括:配置维护、名字服务分布式同步组等。 的可靠协调系统,提供功能包括:配置维护、名字服务分布式同步组等。 的可靠协调系统,提供功能包括:配置维护、名字服务分布式同步组等。 ZooKeeperZooKeeperZooKeeperZooKeeperZooKeeper ZooKeeperZooKeeper 的目标就是 的目标就是 封装好复杂易出错的关键服务,将简单用接口和性能高效、功稳定系统 封装好复杂易出错的关键服务,将简单用接口和性能高效、功稳定系统 封装好复杂易出错的关键服务,将简单用接口和性能高效、功稳定系统 封装好复杂易出错的关键服务,将简单用接口和性能高效、功稳定系统 封装好复杂易出错的关键服务,将简单用接口和性能高效、功稳定系统 封装好复杂易出错的关键服务,将简单用接口和性能高效、功稳定系统 封装好复杂易出错的关键服务,将简单用接口和性能高效、功稳定系统 封装好复杂易出错的关键服务,将简单用接口和性能高效、功稳定系统 封装好复杂易出错的关键服务,将简单用接口和性能高效、功稳定系统 封装好复杂易出错的关键服务,将简单用接口和性能高效、功稳定系统 封装好复杂易出错的关键服务,将简单用接口和性能高效、功稳定系统 封装好复杂易出错的关键服务,将简单用接口和性能高效、功稳定系统 封装好复杂易出错的关键服务,将简单用接口和性能高效、功稳定系统 封装好复杂易出错的关键服务,将简单用接口和性能高效、功稳定系统 封装好复杂易出错的关键服务,将简单用接口和性能高效、功稳定系统 封装好复杂易出错的关键服务,将简单用接口和性能高效、功稳定系统 封装好复杂易出错的关键服务,将简单用接口和性能高效、功稳定系统 提供给用户。 提供给用户。 提供给用户。
3.演

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值