关于Apache Hadoop 1.0

http://www.dw4e.com/?p=88


本文译自cloudera公司Charles Zedlewski写的一篇文章《An update on Apache Hadoop 1.0》

关于最新发布的Apache Hadoop V1.0,一些用户或客户会问:这个版本的功能有哪些?基于哪个版本?后续的版本是什么?要解释这一点,我们应该从Apache项目发布的一些基本知识开始:
一般来说,Apache项目的新功能在主干代码上开发(也就是“trunk”)。有时候,很大的特性也会有自己的开发分支(也就是“branch”),他们期望后续会并入trunk。新功能通常是在trunk发布之前就有了,一般质量或稳定性没有太大保证。候选的分支会定期从主干分支上分离出来发布。一旦一个候选分支发布,它通常停止获得新的功能。如果有BUG修复,经过投票后,会针对这个特定的分支再发布一个新版本。社区的任何成员可以创建一个版本分支,并可随意命名。

a brief history of Apache Hadoop branches & releases

a brief history of Apache Hadoop branches & releases

此图说明了各个Apache Hadoop版本和他们的起源历史。有3次,其中来自Apache Hadoop项目的社区版本打破了release和branch的传统规范。这些通常是造成用户困扰的根源。

  1. Apache Hadoop的0.20版本分支一年多后,重要功能仍然在该分支上继续开发,而不是在主干上。0.20.2分支上增加了两大主要特性:一是验证,增强了 hadoop核心的安全性;另外一个是append,使用户运行的Apache HBase无数据丢失的风险。security分支后来被发布为0.20.203。这些分支和其后续版本已经成为用户困扰的最大来源,因为自那之 后,0.20的分支版本有的功能主干版本却没有,反之亦然。
  2. 在时间上,Apache Hadoop 0.22是在Apache Hadoop 0.23之后发布的。实际上,Apache Hadoop 0.23是0.22版本的严格超集,但它却在0.22版本一个月前发布。
  3. 0.23版本发布几周后,0.20的一个分支(也就是0.20.205)重命名为1.0版本。但0.20.205和1.0之间没有功能上的差异,这仅仅是重新编号。

因为第1点,曾经有18个月之长的期间,没有一个Apache版本有Apache Hadoop所有承诺的功能特性。下表说明了这一点:

hadoop release table

hadoop release table



  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop是一个开源的分布式计算框架,旨在处理大规模数据集。它由Apache基金会开发和维护。Hadoop的版本演进经历了几个重要的里程碑,其中包括Hadoop 1.0Hadoop 2.0。 Hadoop 1.0Hadoop框架的初始版本,也被称为Hadoop MapReduce。它的核心组件包括Hadoop Distributed File System(HDFS)和MapReduce计算模型。HDFS是一个分布式文件系统,用于存储大规模数据集,并提供高容错性和可靠性。MapReduce是一种用于处理大规模数据集的编程模型,它将数据分成小块,并在分布式集群上进行并行处理。 Hadoop 2.0引入了一些重要的改进和新功能。最显著的改变是引入了YARN(Yet Another Resource Negotiator)作为集群资源管理器。YARN的目标是将资源管理和作业调度与MapReduce计算模型解耦,使得Hadoop可以支持更多的计算模型。YARN使得Hadoop集群可以同时运行多个应用程序,如MapReduce、Apache Spark、Apache Flink等。 Hadoop的三大组件是HDFS、YARN和MapReduce。HDFS是Hadoop的分布式文件系统,它负责存储和管理数据。YARN是Hadoop的资源管理器,它负责集群中的资源分配和作业调度。MapReduce是Hadoop的计算模型,它负责将数据分成小块并在集群中进行并行计算。 至于"Hadoop三驾马车"的说法,通常是指Hadoop、Hive和HBase。Hive是一个建立在Hadoop上的数据仓库基础设施,它提供了一种类似于SQL的查询语言,可以方便地对存储在Hadoop中的数据进行查询和分析。HBase是一个基于Hadoop的分布式列式存储系统,它提供了对大规模结构化数据的随机实时读写访问能力。这三个组件相互配合,可以构建起一个完整的大数据处理平台。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值