试述hadoop生态系统以及每个部分的具体功能?_「大数据架构」Hadoop生态系统：分布式文件系统...

最新推荐文章于 2023-06-18 22:14:02 发布

weixin_39562197

最新推荐文章于 2023-06-18 22:14:02 发布

阅读量840

点赞数

文章标签：试述hadoop生态系统以及每个部分的具体功能?

Apache HDFS

Hadoop分布式文件系统（HDFS）提供了一种在多台计算机上存储大型文件的方法。 Hadoop和HDFS源自Google文件系统（GFS）文件。在Hadoop 2.0.0之前，NameNode是HDFS集群中的单点故障（SPOF）。使用Zookeeper，HDFS高可用性功能通过提供在具有热备用的主动/被动配置中的同一群集中运行两个冗余NameNode的选项来解决此问题。

http://hadoop.apache.org
谷歌文件系统 - GFS文件
Cloudera为何选择HDFS
Hortonworks为何选择HDFS

Red Hat GlusterFS

GlusterFS是一个横向扩展的网络附加存储文件系统。 GlusterFS最初由Gluster，Inc。开发，然后由Red Hat，Inc。在2011年购买Gluster后开发。2012年6月，Red Hat Storage Server被宣布为商业支持的GlusterFS与Red Hat Enterprise Linux的集成。 Gluster文件系统，现在称为Red Hat Storage Server。

http://www.gluster.org
Red Hat Hadoop插件

Quantcast文件系统

QFS QFS是一个开源的分布式文件系统软件包，适用于大规模MapReduce或其他批处理工作负载。它被设计为Apache Hadoop HDFS的替代品，旨在为大规模处理集群提供更好的性能和成本效益。它是用C ++编写的，具有固定占用内存管理。 QFS使用Reed-Solomon纠错作为确保可靠访问数据的方法。

Reed-Solomon编码在大容量存储系统中被广泛使用以校正与介质缺陷相关的突发错误。 QFS不是存储每个文件的三个完整版本（如HDFS），而是需要三倍的存储空间，因此它只需要1.5倍的原始容量，因为它会跨九个不同的磁盘驱动器对数据进行条带化。

QFS网站
GitHub QFS
HADOOP-8885

Ceph Filesystem

Ceph是一个免费的软件存储平台，旨在从单个分布式计算机集群中呈现对象，块和文件存储。 Ceph的主要目标是完全分发，没有单点故障，可扩展到exabyte级别，并且可以自由使用。数据被复制，使其具有容错能力。

Ceph文件系统站点
Ceph和Hadoop
HADOOP-6253

Lustre文件系统

Lustre文件系统是一种高性能的分布式文件系统，适用于大型网络和高可用性环境。传统上，Lustre被配置为管理存储区域网络（SAN）内的远程数据存储磁盘设备，SAN是通过小型计算机系统接口（SCSI）协议进行通信的两个或多个远程连接的磁盘设备。这包括光纤通道，以太网光纤通道（FCoE），串行连接SCSI（SAS）甚至iSCSI。

使用Hadoop HDFS，该软件需要一个专用的计算机集群来运行。但是，为其他目的运行高性能计算集群的人通常不会运行HDFS，这会使他们拥有一堆计算能力，这些任务几乎肯定会受益于一些地图缩减，并且无法将这些功能用于运行Hadoop的。英特尔注意到了这一点，并且在其上周悄然发布的Hadoop发行版2.5版本中增加了对Lustre的支持：用于Apache Hadoop *软件的英特尔®HPC分发，这是一款将英特尔分布式Apache Hadoop软件与英特尔®结合的新产品适用于Lustre软件的企业版。这是与Lustre集成的唯一Apache Hadoop发行版，Lustre是许多世界上最快的超级计算机1使用的并行文件系统.

http://wiki.lustre.org /
带有Lustre的Hadoop
英特尔HPC Hadoop

Alluxio

Alluxio是世界上第一个以内存为中心的虚拟分布式存储系统，它统一了数据访问并桥接了计算框架和底层存储系统。应用程序只需与Alluxio连接即可访问存储在任何底层存储系统中的数据。此外，Alluxio以内存为中心的架构使数据访问速度比现有解决方案快几个数量级。

在大数据生态系统中，Alluxio介于计算框架或作业（如Apache Spark，Apache MapReduce或Apache Flink）和各种存储系统（如Amazon S3，OpenStack Swift，GlusterFS，HDFS，Ceph或OSS）之间。 Alluxio为堆栈带来了显着的性能提升;例如，百度使用Alluxio将其数据分析性能提高了30倍。除了性能之外，Alluxio还将新工作负载与存储在传统存储系统中的数据相结合。用户可以使用其独立群集模式运行Alluxio，例如在Amazon EC2上运行，或者使用Apache Mesos或Apache Yarn启动Alluxio。

Alluxio兼容Hadoop。这意味着现有的Spark和MapReduce程序可以在Alluxio之上运行而无需更改任何代码。该项目是开源的（Apache License 2.0），并在多家公司部署。它是增长最快的开源项目之一。 Alluxio拥有不到三年的开源历史，吸引了来自50多家机构的160多名贡献者，包括阿里巴巴，Alluxio，百度，CMU，IBM，英特尔，NJU，红帽，加州大学伯克利分校和雅虎。该项目是Berkeley Data Analytics Stack（BDAS）的存储层，也是Fedora发行版的一部分。

Alluxio网站

GridGain

GridGain是在Apache 2.0下获得许可的开源项目。该平台的主要部分之一是内存中的Apache Hadoop加速器，旨在通过将数据和计算都带入内存来加速HDFS和Map / Reduce。这项工作是通过GGFS-Hadoop兼容的内存文件系统完成的。对于I / O密集型作业，GridGain GGFS的性能比标准HDFS快近100倍。从GridGain Systems转述Dmitriy Setrakyan谈论有关Tachyon的GGFS：

GGFS允许对底层HDFS或任何其他Hadoop兼容文件系统进行直读和写入，而无需更改代码。从本质上讲，GGFS完全从集成中删除了ETL步骤。

GGFS能够选择和保留内存中的文件夹，光盘上的文件夹，以及同步或异步与底层（HD）FS同步的文件夹。

GridGain正致力于添加原生MapReduce组件，该组件将提供本机完整的Hadoop集成而无需更改API，就像Spark目前强迫您做的那样。基本上，GridGain MR + GGFS将允许以即插即用的方式将Hadoop完全或部分内存，而无需任何API更改。

GridGain网站

XtreemFS

XtreemFS是一个通用存储系统，可满足单个部署中的大多数存储需求。它是开源的，不需要特殊的硬件或内核模块，可以安装在Linux，Windows和OS X上.XtreemFS运行分布式并通过复制提供弹性。 XtreemFS卷可以通过FUSE组件访问，该组件提供与POSIX类似语义的正常文件交互。此外，还包含Hadoops FileSystem接口的实现，使XtreemFS可以与Hadoop，Flink和Spark一起使用。 XtreemFS根据新BSD许可证授权。 XtreemFS项目由柏林Zuse研究所开发。该项目的开发由欧盟委员会自2006年以来根据拨款协议No. FP6-033576，FP7-ICT-257438和FP7-318521以及德国项目MoSGrid，“First We Take Berlin”，FFMK， GeoMultiSens和BBDC。

XtreemFS站点
在XtreemFS上进行Flink。
Spark XtreemFS

请关注公众号:【首席架构师智库】

讨论：请加入知识星球【首席架构师圈】或者小号【jiagoushi_pro】或者QQ群【11107777】