天云数据历史数据查询解决方案，全量·全渠道·多维度·7*24h随时随地想查就查

随着互联网时代的到来，人们足不出户用手机就可以办理各种银行业务。

事物总有两面性，便捷的网上交易使得银行系统中积累的数据量越来越大。因此，为了保证核心数据存储系统正常工作，常规银行无法实时查询五年以上的历史数据。

普通业务办理，可以预约等待。

但如果遇到公安办案、监管部门查交易明细等紧急情况时，无法满足实时查询的需求会影响办案的时效性。

随着时间的流逝，历史数据查询难度日益增加。

源起：银行数据存贮、服务现状

目前银行核心系统一般只保存近13个月左右的数据，所有历史数据几乎离线保存在如磁带库、光盘库中，以减轻核心系统压力。

出于“IT系统技术瓶颈”和“成本”双重原因，银行目前未提供“历史数据查询”在线服务。

标题现有解决方案：成本高、流程多、效率低、等待周期长、客户体验差

目前，银行按照1～3年、1～3年前两个时间段为客户提供数据查询服务。
1～3年之内数据，可在网银、app、柜台等渠道查询。
1～3年前的数据，只能通过人工服务，不仅需要单独申请且有等待期，而且同期出现大量客户需求时仍无法满足。

整体服务的问题是，人工成本高、效率低下、申请流程多、等待周期长、客户体验差。

标题市场迫切需求及面临技术挑战

市场需求	技术挑战
信息技术及行业应用快速发展，使得各种信息记录积累已经跨越了较长时间周期。在大量日常工作、生活社交、资质证明、诚信保证、免责、诉讼等场景中，越来越多的个人/机构用户对历史数据查询有迫切需求。	若想实现“历史数据实时查询服务”，首先系统得具有海量数据存储能力；其次，系统能支撑高并发实时查询支持柜台、网银、手机APP 7 * 24小时服务；最后，有强大的算力做数据海量数据格式统一。

天云数据解决方案：全量·全渠道·多维度·7*24h·性能优

天云数据历史数据查询系统架构底层为Hubble数据库，将海量数据存储其中，支撑海量数据快速访问。服务层由查询服务、权限管理、审计管理、系统管理、告警管理、任务调度构成。接口层由8583报文、REST组成的，客户所查询的内容通过系统请求交换信息——将用户所查询的进行状态转移进而给客户反馈。应用层由柜面、Web界面、自助终端、手机银行、网银五个渠道组成。

整个系统是一个支持高并发、全渠道、多维度的7*24小时实时历史数据查询系统。通过独立底层Hubble数据库，所有数据单独存储，安全高效且具有海量数据存储能力，可以极大地提高历史数据查询效率，高效完成日常业务，推动银行等金融企业走向历史数据规范化、国产化的管理。

方案价值

• 国产分布式数据库底座、应用自主研发，满足金融行业安全可靠及国家信创战略要求；
• Hubble数据库通过信通院分布式事务数据库能力评测；
• 系统独立、数据单独存储，安全高效、为核心及其他系统减负；
• 系统建设与维护成本低，性价比高。
  

可实现的查询效果：

历史数据、多维度数据查询：对公历史数据查询权限、对公活期历史数据查询权限、对公定期历史数据查询权限、对公批量历史数据查询权限、对公单位卡历史数据查询权限、对私历史数据查询权限、对私活期历史数据查询权限、对私定期历史数据查询权限、对私批量历史数据查询权限、交易日志历史数据查询权限等均可实现。

**全渠道查询：**网银、手机APP、柜面等

**查询时间：**7*24小时查询。

实践案例：某股份制商业银行全量数据存储查询分析

项目背景
该银行已经汇集了近30年的历史数据，但是核心业务系统只能提供短则几个月的客户历史交易明细，且单次查询时间段跨度不能超过一年；

一年前的交易数据以光盘库、磁带库等形式存放，导致查询效率低查询成本高。

解决方案

• 采用Hubble分布式数据存储的方案，搭建高性能、可扩展的实时数仓。
• 将过往存储在不同的介质上的历史数据数据导入Hubble数据库，通过SQL语句实现数据编码格式转换、字段分隔符、校验等清洗及加工，提供在线查询服务。
• 通过优化+索引的数据字段定义格式存储，提升查询速度。
• 定制开发可通过前端界面查询的分析系统，提升业务处理能力。
• 提供全量数据在线备份，保证数据完整性。提供完整的数据入库流程检查，后续如果出现数据问题轻松查明产生原因。同时，为了应对银行的主备集群灾备策略，提供增量数据备份功能。

项目结果

该项目实现了该银行全量积累的近400亿笔交易数据在线实时、异步长时间跨度的查询功能；

实时查询交易平均响应时在200毫秒左右，异步查询交易平均完成时间在1分钟左右；

定制开发的查询分析系统，能同时实现对公活期定期历史交易明细查询、内部帐历史交易明细查询等十余种大批量查询；

采用分布式架构，解决海量数据在线服务问题，稳定性提高至原来的300%、处理效率提高了1186%；

本项目不仅实现了该银行业务目标，同时也助力该银行获得了同年度中国金融行业最佳创新项目奖。