【巨杉数据库SequoiaDB】影像平台分布式最佳实践 内容管理平台分布式实践

分布式架构+多模正在成为新一代数据库技术的主流技术架构，其中处理非结构化数据的能力成为新一代数据库的关键功能点。本文也将从一个实际企业案例出发，介绍分布式数据库在影像数据管理场景下的最佳实践。

 

1. 内容数据管理需求

在银行业竞争越来越激烈的背景下，部分银行由于非结构数据部分或全部存在于各自系统中，或尚未形成完整统一的存储管理模式，信息共享不及时导致信息孤岛效应明显，影响银行在部分业务上的决策。并且现有的非结构化内容管理平台已经不能满足在产品创新、服务创新和流程创新上的新需求，并且部分银行已经提出流程银行的战略构想,将企业内容应用以及集中作业和碎片录入系统，作为全行流程银行的基础平台。

 

目前金融企业内容管理平台存在以下几个问题：

•   需要实现跨业务的企业内容管理系统整合和处理，由于部分业务系统企业内容数据独立，未形成企业级内容统一存储，造成在需要企业内容数据跨业务进行处理和展现时，不同业务系统对企业内容数据的调用处理复杂；
•   数据量增长太快，传统企业内容管理系统依赖于关系型数据库，在记录数超过亿级别之后，检索内容记录的响应时间变慢，很难实时过滤企业内容数据特征比如基于内容标签的实时推荐，并且无法在全表多索引数据回溯；
•   传统企业内容管理系统建设成本较高，水平扩展复杂。在银行海量数据存储需求的背景下，需要高性价比的数据存储持续在线，保留源结构的长期数据并且能做到秒级快速索引数据回溯，以满足复杂在线交易和历史数据查询需求，因此，未来企业内容管理系统需满足在线水平扩展；

为了满足未来全行级流程银行建设的要求,需要建设能够服务于全行各种业务流程化处理的影像及相关系统处理平台,将其他分散的非结构化数据进行统一的管理。

 

2. 技术要点

企业内容管理系统需求痛点：

1）用低成本的分布式存储管理海量数据

传统企业内容管理系统采用关系型数据库+文件系统的架构方式，硬件基于小型机+高端存储，运行Unix。这种架构和硬件成本较高，并且计算能力和容量不能横向扩展，按需扩容，大大增加了客户的使用成本，因此，需求采用分布式架构，使用内置SAS或SATA硬盘，并能横向扩展，按需扩容，管理PB级别的内容，同时做到在线扩容，滚动升级，不需中断业务，以节省客户的使用成本。

2）非结构化数据和结构化数据的统一管理

对于企业内容管理系统，需要把企业内容本身，和企业内容相关的元数据，例如客户号、时间、交易类型、各相关字段同时存放在一条记录中，便于应用调用，同时省去了传统模式中要使用一个关系型数据库+一个NAS的复杂结构。

3）高并发处理能力，随集群水平扩展性能线性提升

传统内容管理系统使用关系型数据库，在高并发场景下性能有所下降。

4） 同城灾备或异地灾备

随着银行业务的发展，企业内容数据存在银行的各个业务系统中，并在多个业务系统中传递，因此企业内容数据对银行来说越来越重要。为了提升业务系统的抵御灾难的能力，对这类系统银行会采用同城灾备或异地灾备的方式来保证数据的安全。传统的企业内容管理系统不具体同城灾备或异地灾备的功能，在新一代企业内容管理系统中这类需求显得尤为重要。

5）多中心部署

部分银行存在分行到总行网络资源收到限制的问题，而企业内容数据在传输的过程中需要消耗较多的网络资源。为了不影响业务的正常进行，需要使用多中心部署的架构在业务较多时段分行本地存储企业内容数据，在业务较少（比如晚上）时段将企业内容数据同步到总行进行存储。

 

3. 整体架构及功能介绍

3.1整体架构

利用SequoiaDB构建影像系统整体架构如3-1图所示：