- 分布式存储概念
分布式存储系统具备以下几个特点:
- 可扩展:目前分布式存储系统几百台规模很常见,多的可以达到几千上万台,Amazon S3设计目标甚至达到10-30万台。集群规模并不是初始化阶段就会达到很大,都是随着业务的增长逐渐扩展,需要分布式系统支持可扩展。而且随着集群规模的增长,系统整体性能也需要呈线性增加。
- 低成本:成本分为两部分,一部分是机器成本,分布式系统需要在异构的机器上运行,且机器可能是比较廉价的机型(例如成本敏感的产品线机器都会配置较差),这就需要程序具备一定的容错、负载均衡等能力。另一部分是运维成本,分布式存储系统,在中后期规模的增长运维成本凸显,这就需要在前期的设计阶段充分考虑到运维情况。
- 高性能:分布式存储系统,无论是集群整体,还是单机都需要高性能。
- 易用:易用性包括两部分,一部分是对外接口(减轻产品线工作量,包括数据类型的支持、协议的易编程性),另一部分是需要提供完整的监控、运维工具(例如,DashBoard、cli、sla统计分析数据等等)。
分布式存储系统的难点核心在于, 数据与元数据 的持久化。在高