基于HDFS的分布式存储

最新推荐文章于 2024-08-04 17:45:04 发布

置顶

温柔梦9527

最新推荐文章于 2024-08-04 17:45:04 发布

阅读量820

点赞数

分类专栏：大数据存储技术文章标签：基于HDFS的分布式存储

本文链接：https://blog.csdn.net/ymeng9527/article/details/102924425

版权

本文详细介绍了分布式存储的概念，强调了HDFS在应对大数据存储需求中的重要地位。HDFS作为Hadoop项目的一部分，具备高容错性和高吞吐量数据访问特性，适合在廉价硬件上运行。文章探讨了HDFS的架构，包括NameNode、DataNode和Client的职责，并列举了其优势，如解决硬件错误、流式数据访问和平台移植性等。然而，HDFS并不适用于需要低延迟访问、存储大量小文件或频繁修改的场景。

摘要由CSDN通过智能技术生成

1.分布式存储的定义

分布式存储就是指通过网络连接每台机器，使得这些分散的存储资源构成一个虚拟的存储设备，数据分散在每台机器上的各个角落
与集中式存储技术不同，分布式存储技术并不是将数据存储在某个或多个特定节点上的
分布式存储的出现是因为在互联网时代信息数据大爆炸，传统的集中式存储已经难以满足大型应用的数据存储需求

2.分布式存储服务的分类（按数据存储模型来划分）

文件模型	对应分布式文件系统，比如GFS、HDFS
关系模型	对应分布式数据库系统，比如Google Spanner、OceanBase、ClickHouse
键值模型	很多NoSQL系统采用键值模型，比如Redis、Memcache

3.分布式存储的特点

（1）数据的分布和负载均衡
（2）存储系统的容错问题
（3）系统的可扩展性
（4）如何保障可靠性和准确性
（5）性能和容错能力
分布式存储能很好的解决上述问题
其实，集中式存储也能够很好的解决上述问题
在集中式存储中存在独立磁盘冗余阵列（RAID）技术，它把相同的数据存储到多块硬盘的不同位置
数据可以通过磁盘阵列控制程序均匀分布在多块硬盘上，这样就解决了负载均衡问题，通过冗余解决了可靠性问题
虽然磁盘阵列解决了单