【下一代对象】专利（待授权）生命周期管理特性实现数据高效流动

需求背景

随着5G、AI等技术的高速发展，数据爆炸性增长，同时DT时代“数据即资产”的思潮涌现，海量非结构化数据需要存储，对象存储能够提供海量存储的解决方案。而数据价值的判断局限于当下的技术和业务形态，随着技术的不断提升和业务的持续变化，数据的价值密度不再随着时间发展而下降，新技术的出现可能让历史数据重新发挥价值，这就 要求能将数据低成本长周期的存储下来。
这期间除了需要解决数据存储的成本，更要降低数据流转的管理成本，保证数据价值与存储成本成正比关系。例如在数据频繁访问阶段放在SSD资源池，在低频访问阶段流动到HDD资源池，在长期不访问阶段流动到蓝光、磁带的离线存储，或流动到公有云，待需要恢复高频访问时则重新流动到SSD资源池。

生命周期管理挑战

业界厂商普遍都实现了生命周期管理功能，包括：数据过期清理、数据流动，然而也存在着一些局限性，使得生命周期管理难以高效、便捷。例如：

1. 数据仅支持在少数的几个存储层级间流动，并且存在存储厂商锁定的困扰；

2. 筛选符合要求的对象非常麻烦，执行效率受数据规模影响大。通常仅支持按照前缀、标签等少数的几个数据集进行生命周期管理；

3. 对象的多种任务严格按照业务要求的顺序执行复杂度高，容易产生错漏，故大部分厂商支持的处理模式较为单一；

4. 管理时间粒度不够灵活，通常只能按天设置；

5. 数据流动过程占用大量的存储带宽、IO资源，影响存储系统性能；

……

星辰天合对象存储生命周期管理

基于用户对数据生命周期管理迫切的需求，XSKY星辰天合对象存储提供一站式数据全生命周期管理的方案。不同于业界主流厂商有限的数据流动策略，XSKY对象存储秉持着生态开放的理念，接入了多种异构存储平台，包括：公有云对象存储、兼容S3的对象存储、文件存储、蓝光、磁带库等，数据除了在本地不同资源池中流动以外，还可以在各存储平台间自由流动，实现厂商解锁的同时，突破单存储平台的规模限制。

高效筛选

通常为了筛选符合生命周期规则的数据，需要执行全桶数据扫描遍历，不仅执行效率低下，对存储系统性能还会造成较大影响。星辰天合自研了生命周期规则数据筛选机制，根据用户配置的生命周期规则，获取存储桶在指定时间区段内生成的变更时序数据库信息，通过这些时序数据能够快速地识别出符合条件的对象。该筛选机制已经申请了国家知识产权局发明专利，当前正处于实质审查阶段。

得益于自研的高效筛选机制，星辰天合对象存储能够支持更丰富的生命周期数据集，允许业务数据按照前缀、后缀、标签、扩展发生、拥有者、对象大小、对象类型等进行数据生命周期管理。

多样处理，任务有序

星辰天合对象存储支持多种数据处理方式，包括：过期删除、数据镜像、数据分层、数据归档等，满足不同的场景需求。例如：历史版本过期删除；数据灾备；热温冷池间自由流动；数据归档。

面对不同的任务，同一对象应当按照一定的顺序执行，才能保证满足对象存储的业务需求。然而在以往相关技术中，对象的多个任务无法做到严格按照业务要求的顺序执行，容易产生错漏。

针对该问题，星辰天合自研了一种任务处理方法，从而解决了分布式存储服务中多种任务难以保序执行的技术问题，并且在2021年向国家知识产权局申请了发明专利。

在星辰天合下一代对象存储中，按照配置的分钟数、天数、时间顺序执行任务，例如：1天后执行镜像，15天后执行分层，20天后执行归档，50天后执行过期删除。

如果对象同时匹配多个不同任务类型的规则，则按照成本优先原则执行（过期＞归档＞分层＞镜像＞过期保留次级存储），比如多个规则中包括镜像、分层、过期删除保留次级存储，则保证数据已经完成分层再删除保留次级存储。

当对象匹配了相同任务的多个规则时，仍然采用成本优先原则进行处理，例如匹配多个归档任务时，归档到最大的次级存储。

数据纳管

对于企业已有的存储系统和数据，星辰天合对象存储还支持通过回源方式进行纳管，实现数据面的统一管理。利用不同方式按需纳管外部数据后，被纳管的数据仍然适用于生命周期管理功能，不再需要为数据迁移和跨平台使用而兴师动众。

业务影响小

在执行生命周期任务的过程中，数据的流动往往会占用大量的资源。为了避免影响业务，星辰天合自研了分布式QoS技术，有效控制数据流动的带宽和请求数。同时，生命周期执行的站点、执行时间允许用户灵活定义。

总结

星辰天合不断地升级完善数据生命周期管理方案，在下一代对象存储中将呈现出更为高效灵活的生命周期管理特性，辅助用户更好地完成数据管理，保障存储性能符合业务要求的情况下，降低存储成本，同时实现数据价值。

END