HDFS常见功能及应用场景介绍
分布式存储的兴起与互联网的发展密不可分,互联网公司由于其大数据、轻资产的特点,通常使用大规模分布式存储系统。
与传统的高端服务器、高端存储器和高端处理器不同的是,互联网公司的分布式存储系统由数量众多的、低成本和高性价比的普通 PC 服务器通过网络连接而成。由于互联网的业务发展迅猛,使得存储系统架构不能依靠传统的纵向扩展的方式,即先买小型机,不够时再买中型机,甚至大型机。互联网后端的分布式系统要求支持横向扩展,即通过增加普通 PC 服务器来提高存储系统的整体处理能力。
另外,随着服务器的不断加入,需要能够在软件层面实现自动负载均衡,使得系统的处理能力得到线性扩展。在这种情况下,分布式存储成为大多数企业的必然选择。
目前市场中,HDFS分布式存储系统是很热门的讨论话题,各种企业也倾向于搭建分布式存储系统。那么,分布式系统解决了企业的哪些问题呢?
(1)升级单机处理能力的性价比越来越低;
企业发现通过更换硬件做垂直扩展的方式来提升性能越来越不划算;
(2)单机处理能力存在瓶颈;
单颗处理器有自己的性能瓶颈,即使愿意花更多的钱去买计算能力也买不到了;
(3)出于稳定性和可用性的考虑;
如果采用单击系统,那么在这台机器正常的时候一切 OK ,一旦出问题,那么系统就完全不能用了。当然,可以考虑做容灾备份等方案