分布式数据存储与管理[HDFS+HBase]

最新推荐文章于 2024-08-08 10:34:27 发布

ystu

最新推荐文章于 2024-08-08 10:34:27 发布

阅读量8.3k

点赞数 2

分类专栏：分布式存储

本文链接：https://blog.csdn.net/u011459120/article/details/80493904

版权

本文介绍了HDFS和HBase的系统架构，HDFS作为分布式文件系统，HBase作为基于HDFS的NoSQL数据库。HDFS采用Master/Slave架构，而HBase同样采用这种架构，管理RegionServer。HBase不支持SQL，不实现复制，适合非结构化和半结构化数据存储。文章讨论了HDFS+HBase的优缺点，指出为了提高性能，需要减少系统开销并缩短数据处理路径。

摘要由CSDN通过智能技术生成

一、系统架构

在分布式存储领域，相信大多数人对HDFS（Hadoop Distributed File System）并不陌生，它是GFS（Google File System）的开源实现版本，解决大规模非结构化数据存储的问题。然而，HBase则是基于HDFS之上的一个分布式的、面向列存的开源NoSQL数据库，解决大规模结构化和半结构化数据存储的问题。

a) HDFS架构

HDFS[1][2]采用Master/Slave架构。一个HDFS集群是由一个Namenode和一定数目的Datanodes组成，如图1所示。Namenode是一个中心服务器，负责管理文件系统的名字空间(namespace)以及客户端对文件的访问。集群中的Datanode一般是一个节点一个，负责管理它所在节点上的存储。HDFS暴露了文件系统的名字空间，用户能够以文件的形式在上面存储数据。从内部看，一个文件其实被分成一个或多个数据块，这些块存储在一组Datanode上。Namenode执行文件系统的名字空间操作，比如打开、关闭、重命名文件或目录。它也负责确定数据块到具体Datanode节点的映射。Datanode负责处理文件系统客户端的读写请求。在Namenode的统一调度下进行数据块的创建、删除和复制。

这里写图片描述
图1 HDFS系统架构