随着国家“新基建”战略的推进,国产软硬件迎来跨越式发展,在金融、政务、电信等核心领域均具备不斐实践。作为我国信息化程度最高的行业之一,金融行业是我国信息化建设的重点领域。近年来,随着全球化逆流加剧,金融行业IT建设国产化进入加速期。
近日,在新疆农村信用社(以下简称“新疆农信”)数据仓库国产化替代项目中,人大金仓顺利完成由IBM Netezza数据库到金仓分布式分析型数据库系统KingbaseAnalyticsDB(以下简称“KADB”)的迁移,迁移后,客户的数据库使用及服务成本节省10倍,数据库加载速度与分析性能显著提升。
01
项目背景
新疆农信ODS业务核心数仓接入其 “核心”、“网银”、“财管”、“银联”、“信贷”、“前置”和农信银等重要业务系统;
每天高密度、结构化数据的批量加载、处理、分析:数仓存储数据量压缩后近20TB,每日运行批量加工过程500+,每日入库量30GB+,全天数据加工处理流程时间<3小时(清洗/装载、汇总、报表);
流水型业务场景:整个过程需要通过集中控制平台以定时任务的形式将每日增量数据导入到数据库中,并通过多层模型清洗转换基础数据,每一层需依赖上层转化好的数据,最终完成所有业务操作后将最终结果上报到总行。
原数据库性能及服务无法满足需求:原有数据库为基于一体机架构体系下的数据分析和数据存储平台。采用Netezza构建ODS,随着数据量的增大,Netezza在性能及各方面表现日趋下降,已不能满足新疆农村信用社使用需求。2019年,IBM停止Netezza的服务支持,新疆农信ODS业务陷入无数据库原厂提供服务保障的困境。
02