解决云数据中心大规模存储的难题

作者:Dave Berry

 

2011年,Andy Bechtolsheim用一句尽人皆知的名言强调了TCO的重要性,“长远来看,没有其他障碍的情况下,经济因素总是压倒一切。”Andy作为硅谷的一个辉煌传奇,从其对经济的考量可以深入理解他对创新的全盘把握。随着大数据暴增的时代来临,在数据中心存储中这条法则显然依然适用。

数据中心正为Hadoop大数据分析或Open Stack基础设施即服务(IaaS)等负载大规模部署存储设施,所需的极大存储容量与极高的性能/$是常用的8端口HBA或者转接卡无法提供的。为实现这一目标,需要重新定义机架的硬件架构。

面对为OpenCompute Project (OCP)提供高密度存储连接支持的需要,我们正是采取了重定义硬件架构的方法。方案最终取决于密度:转接卡上的端口越多,一个机架中能连接的JBOD就越多,需要投资购买的服务器节点数目就越少。请参阅我公司的OCP Data Center Blueprint infographicOCP数据中心规划信息图)。

我公司24-port RAID adapter24端口的RAID转接卡)的端口数目三倍于其他解决方案,助力实现最高密度的OpenRack存储容量,每个Winterfell serverWinterfell服务器)头节点可以连接更多的Open Vault JBOD storage arrays存储阵列。通用的横向扩展配置下即可在每个机架上连接360个硬盘,采用更少的Winterfell服务器即可提供容量上33%的提升。

5000个机架的部署中,成本节约达到大约七千五百万美金。请记住:经济因素总会压倒一切!

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
大规模数据存储和管理是指在大数据环境下有效管理和存储海量数据的技术和方法。这种存储和管理需要考虑数据的可靠性、可扩展性、高性能和安全性等方面。 以下是一些常见的大规模数据存储和管理的技术和方法: 1. 分布式文件系统:分布式文件系统是一种将文件分散存储在多个节点上的系统,常见的分布式文件系统包括Hadoop Distributed File System (HDFS)和Google File System (GFS)。它们通过数据分片和冗余备份来实现高可用性和容错性。 2. 列式存储:列式存储是一种将数据按列而不是按行进行存储的方式。它可以提高查询性能,特别适用于大规模数据的分析场景。一些列式存储系统包括Apache Cassandra和Apache HBase。 3. NoSQL数据库:NoSQL数据库是一类非关系型数据库,适用于海量数据的存储和管理。它们提供了高可扩展性、高性能和灵活的数据模型。一些常见的NoSQL数据库包括MongoDB、Couchbase和Redis。 4. 数据湖:数据湖是一种集中存储各种结构化和非结构化数据的系统,包括原始数据、历史数据和实时数据等。它提供了统一的数据访问接口和数据管理功能,支持数据的分析和挖掘。 5. 数据分区和分片:将大规模数据进行分区和分片,可以使数据存储和查询更加高效。分区和分片可以根据数据的特性和访问模式进行优化,提高数据的可用性和性能。 6. 数据备份和恢复:为了保证数据的可靠性,大规模数据存储和管理需要进行数据备份和恢复。常见的方法包括数据冗余备份、增量备份和异地备份等。 7. 数据访问控制和安全性:大规模数据存储和管理需要考虑数据的安全性,包括数据的加密存储、访问控制、身份认证和审计等技术手段。 这些技术和方法的综合应用,可以帮助组织有效地管理和存储海量数据,并提供高性能和可靠的数据访问能力。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值