分布式存储技术

最新推荐文章于 2024-07-16 10:29:36 发布

wangys521yy

最新推荐文章于 2024-07-16 10:29:36 发布

阅读量1.4k

点赞数

分类专栏：云计算互联网数据库文章标签：分布式存储非结构化数据存储半结构化数据存储

本文链接：https://blog.csdn.net/wangys521yy/article/details/8871137

版权

互联网同时被 3 个专栏收录

8 篇文章 0 订阅

订阅专栏

云计算

3 篇文章 0 订阅

订阅专栏

数据库

2 篇文章 0 订阅

订阅专栏

分布式存储技术

分布式存储概念

与目前常见的集中式存储技术不同，分布式存储技术并不是将数据存储在某个或多个特定的节点上，而是通过网络使用企业中的每台机器上的磁盘空间，并将这些分散的存储资源构成一个虚拟的存储设备，数据分散的存储在企业的各个角落。结构化数据的存储及应用所谓结构化数据是一种用户定义的数据类型，它包含了一系列的属性，每一个属性都有一个数据类型，存储在关系数据库里,可以用二维表结构来表达实现的数据。大多数系统都有大量的结构化数据，一般存储在 Oracle 或 MySQL 的等的关系型数据库中，当系统规模大到单一节点的数据库无法支撑时，一般有两种方法：垂直扩展与水平扩展。

垂直扩展：垂直扩展比较好理解，简单来说就是按照功能切分数据库，将不同功能的数据，存储在不同的数据库中，这样一个大数据库就被切分成多个小数据库，从而达到了数据库的扩展。一个架构设计良好的应用系统，其总体功能一般肯定是由很多个松耦合的功能模块所组成的，而每一个功能模块所需要的数据对应到数据库中就是一张或多张表。各个功能模块之间交互越少，越统一，系统的耦合度越低，这样的系统就越容易实现垂直切分。

水平扩展：简单来说，可以将数据的水平切分理解为按照数据行来切分，就是将表中的某些行切分到一个数据库中，而另外的某些行又切分到其他的数据库中。为了能够比较容易地判断各行数据切分到了哪个数据库中，切分总是需要按照某种特定的规则来进行的，如按照某个数字字段的范围，某个时间类型字段的范围，或者某个字段的 hash 值。

垂直扩展与水平扩展各有优缺点，一般一个大型系统会将水平与垂直扩展结合使用。

非结构化数据的存储及应用

相对于结构化数据而言,不方便用数据库二维逻辑表来表现的数据即称为非结构化数据，包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。分布式文件系统是实现非结构化数据存储的主要技术，说到分布式文件系统就不得不提GFS（全称为"Google File System"），GFS 的系统架构图如下图所示。

GFS 将整个系统分为三类角色：Client（客户端）、Master（主服务器）、Chunk Server（数据块服务器）。

Client（客户端）：是 GFS提供给应用程序的访问接口，它是一组专用接口，不遵守 POSIX 规范，以库文件的形式提供。应用程序直接调用这些库函数，并与该库链接在一起。

Master（主服务器）：是 GFS的管理节点，主要存储与数据文件相关的元数据，而不是 Chunk（数据块）。元数据包括：命名空间（Name Space），也就是整个文件系统的目录结构，一个能将 64 位标签映射到数据块的位置及其组成文件的表格，Chunk 副本位置信息和哪个进程正在读写特定的数据块等。还有Master 节点会周期性地接收从每个Chunk节点来的更新（"Heart- beat"）来让元数据保持最新状态。

Chunk Server（数据块服务器）：负责具体的存储工作，用来存储 Chunk。GFS将文件按照固定大小进行分块，默认是 64MB，每一块称为一个 Chunk（数据块），每一个 Chunk以 Block 为单位进行划分，大小为 64KB，每个 Chunk有一个唯一的64位标签。GFS采用副本的方式实现容错，每一个Chunk有多个存储副本（默认为三个）。Chunk Server 的个数可有有多个，它的数目直接决定了 GFS 的规模。