基于
HDFS
的云存储系统的研究与实现
摘要
:
针对海量数据的存储问题,传统方法一般是通过购置更多数量的服务器来提升计算和存储能力,存在硬件成本高,
存储效率低等缺点。本文旨在通过构建基于
Hadoop
分布式文件系统的云存储系统,解决海量数据存储难题。文章首先阐述了
云存储的相关理论,接着对
HDFS
的管理机制和
MapReduce
编程模型进行了分析,最后结合实际需求,设计并实现了一个基
于
Hadoop
的云存储系统。经过测试,该系统有效的解决了海量数据存储管理问题,具有开发成本低、处理速度快、运行稳定、
易于扩展等特点。
关键字
:
Hadoop; HDFS; MapReduce;
云存储
;
分布式系统
中图分类号
:
TP306
文献标志码:
A
引言
随着计算机网络技术的快速发展,信息量呈爆炸性增长,数据存储逐渐成为制约企业发展的关键问题。
企业现有系统的扩展能力差,
难以满足企业快速变化的业务需求
[1]
。
传统的
NAS
方案扩展能力有限,
并且面
向企业级的
NAS
设备价格往往非常昂贵,购买以及安