如何应对数据存储增长的蝴蝶效应？

蝴蝶效应，一个非常美的词汇。
隐含的是一个连锁反应后的未知后果，可能还很严重。

面对呈指数增长的数据和存储，如何能快速有效的管理我们的数据呢？

手段一：自动精简配置

自动精简配置是一项根据应用实际需求分配容量的技术。传统存储系统或划分出足够大的空间分配给某项应用，但实际上很多容量是闲置的。而自动精简配置打破了这种分配模式，是解决存储过量供给的有效方式，使你不用购买或者维护超过实际所需的存储。

自动精简配置可以优化可用存储的利用率，在真正需要的时候从共享池中划分存储容量，减少闲置存储容量和降低系统总拥有成本。

手段二：重复数据删除

重复数据删除是一种减少冗余数据的技术，留下并只保存一个数据副本，以及指向重复数据块的指示符。如果按照重复数据删除发生的时间，可以分为Post-process和in-line两种方式；如果按照发生的地点，则可以分为源端和目标端重复数据删除两种。
Protectier的删重技术不使用哈希算法，而是HyperFactor算法，避免哈希冲突；
Avamar是专利删重算法。

当信息量越来越多，备份的难度和成本也随之增加，大多数备份的数据都不是唯一的，是有很高重复性的原始数据副本。重复数据删除技术可以减少备份数据，增加对存储容量的需求。

手段三：自动分层、分级存储

自动分层存储是一种根据数据价值或者数据访问频率迁移到合适的存储层中的技术。手动迁移数据是既耗费时间又带有风险的，而自动分层技术可以自动地将搜索和访问频率较高的“热”数据自动迁移到诸如固态硬盘（SSD）等高速存储中，而将访问频率较低的“冷”数据存放在成本和速度较低的存储介质中。

自动分层技术可以有效地优化数据放置，加快搜索和访问，减轻了存储管理员的负担，最大限度降低存储开销和保存信息的成本。曾经利用TPC for Data进行数据资源分析，而后根据分析结果将数据分层放置。


手段四：存储虚拟化

用户对于存储的需求正在快速增加，导致存储环境分散化和异构化的问题更加凸显，这对于提高利用率、为新用户和新应用分配存储空间是非常不利的。存储虚拟化技术，可以对这些环境进行简化，将分散的存储硬件资源抽象化并整合成一个“存储池”，按照具体需求将存储资源动态地分配给应用，从而降低系统管理难度和成本，提高整体系统效率。

存储虚拟化还可以提高老旧设备的利用率，使其充分发挥“余热”；让数据能够在不同平台时间实时迁移，提高管理员的工作效率。
云存储也是存储虚拟化的一个idea。
SVC将全部盘（各类盘，EMC、IBM、Hitachi等）虚拟成vmdisk，也是一种存储虚拟化

手段五：数据压缩

很多企业都面临着削减主存储和动态存储空间的难题，解决这个挑战是非常关键的，因为“牵一发而动全身”，存储效率提高了，数据复制和备份的效率也会随之增加。数据实时压缩技术虽然没有重复数据删除那么普及，但是门槛相对比较低，能够精简写入到存储系统的数据，减少对带宽的需求，提高磁盘和存储系统缓存效率，从而达到优化存储的目的。

由此可见，利用以上这些存储优化技术提高存储效率，不外乎有两个方面：一是使用例如重复数据删除和数据压缩等技术减少数据占用的空间，利用自动精简配置和存储虚拟化在多个存储设备之间调配资源，提高容量利用率；二是用相同的钱获得更高性能，例如使用自动分层存储使用少量固态盘应对高IO应用，提高高价值资产的利用率。

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/189512/viewspace-711758/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/189512/viewspace-711758/