做完银行系统数据中台压力测试,我学到了什么

2669 篇文章 15 订阅
2661 篇文章 26 订阅

背景

对于很多中小型银行来说,数据中台是基于大数据平台基础支撑,支持规则模型计算,大批量计算查询分析,形成统一服务层,为各类数据服务应用赋能。

很多中小型现在面对数据应用的痛点在主要在于:

数据应用主要还是在 T 加1的服务为主,缺乏实时数据服务;

数据服务主要还是集中在报表需求,缺乏数据深入分析能力;

缺乏对历史查询和分析支持不足。

为了解决这些痛点,建设数据中台,增加统一数据实时服务(主要为计算和查询),提升大批量数据处理,数据建模深入分析,亿级数据关联计算时间秒级,增加非结构化数据查询存储能力。

典型应用需求场景

1、风控评级,比如个人对公账户评级,对可疑账户进行倒查,比如黑名单数据汇聚与推送管理,通常从道琼斯、风控系统、外部法院电信诈骗信息等渠道获取信息,经数据中台加工后;通过数据服务api统一提供行内的业务系统。进行实时风控。

2、客户画像,提供全行统一的客户画像服务,提升对客服务、维系、挽留。

3、对客提供统一的各类存贷款、理财实时余额、历史收支明细查询。

通常统一的客户画像,需要从crm、核心系统、风控系统等内部系统、外部爬虫数据,通过数据处理层加工集成标签等信息后,再通过规则引擎生成统一的客户画像。

系统框架

图片

信息流:

图片

措施与成效

通过对数据中台服务能力进行分析梳理非功能验证重点。

数据中台第一期的非功能关注重点主要包括数据查询服务能力、支撑实时报表能力,对客查询能力、对外开放数据服务能力、各种数据形态下的数据集成能力、数据迁移能力、数据计算能力、数据存储能力等方面。

总体来说:

1)此次数据中台测试在BI报表、自助查询平台、标签画像系统、DataApi服务四部分,共发现排除优化需要周期3天以上的性能隐患100+,及时排除类似数据采集数据丢失,超时导致批处理中断等隐患。

2)完善大批量数据处理能力,提升对高维实时数据和高维历史数据进行建模、存储和分析性能。

对黑名单、风险预警系统、账户管理等多个源系统的数据采集测试,在日均任务:2w,作业量:近千,集群节点规模:100+总体背景下。

经过非功能测试, 日均处理消息量可以达到百万级别,峰值处理消息量可以达到十万条每秒,整体作业流执行时间窗口控制在4小时内,满足7*24小时稳定性处理要求。

3)提升历史数据查询及分析应用能力,类似总资产及各类资产余额查询,个人收支历史明细查询毫秒级响应。

未来展望

在数据中台提供提供良好的数据基础,后续数据中台会通过完善联邦学习、数据资产管理等功能,加速企业从数据到业务价值的过程,整体非功能质量保证也将会更加的复杂。

看完这篇文章的你,大概对银行金融行业非常感兴趣


资源分享

下方这份完整的软件测试视频学习教程已经上传CSDN官方认证的二维码,朋友们如果需要可以自行免费领取 【保证100%免费】

在这里插入图片描述

在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值