老孙的博客

一个讲述IT界故事的老孙

中兴通讯大数据平台在中国农业银行的应用

项目背景及挑战

当今时代,利率市场化,同业竞争加剧,迫使金融企业要尽快引入新技术,完善移动渠道的访问能力,增加服务渗透力,加快新业务部署上线速度。残酷的竞争导致利润空间下降,IT 成本压缩。传统银行IT架构采购和维护成本过高,更低成本优势的IT 技术成为了金融企业的需求。同时,“IOE”对金融业形成事实垄断,产品闭源不可控,IT系统依赖性过大,导致金融企业失去议价能力,安全风险越来越大。种种问题都使金融企业更加关注新技术的发展,更加急切的探寻可行的解决之道。

大数据技术在时代的招呼下应运而生,自诞生之日起,就成为了金融行业关注的目标,其海量数据处理能力、低廉的架构成本、开源的风险可控性都满足了金融企业的需求,各大金融企业纷纷投入资源开展研究与应用。

中国农业银行(Agricultural Bank of China,简称ABC,农行)是中国大型上市银行,中国五大银行之一。数年来,中国农行一直位居世界五百强企业之列,在“全球银行1000强”中排名前7位,穆迪信用评级为A1,在国际、国内都极具影响力。

中国农业银行从2011年开始,投入大量资源进行大数据技术研究。目前已有多个基于开源大数据组件的业务系统研发投产。但随着的大数据技术的深入应用,大数据技术的复杂性、不规范、缺乏有效技术支持等问题越来越成为大步前进的障碍。一方面随着数据的爆炸性增长,传统架构已经无法满足金融行业的实际需求,在信用风险、合规审计、柜面改造等多个业务领域都急切需要大数据技术的支撑。另一方面Apache Hadoop、CDH、IDH等大数据技术及开源平台,在规划架构、技术支持、故障恢复、生产运维等方面缺少技术支持,导致应用产品开发成本难以控制,投产应用产品稳定性欠佳,研发运维严重脱节。

大数据技术方案

2015年4月初,中国农业银行完成对多个厂商大数据产品的完备性测试,中兴通讯GoldenData HD大数据平台产品顺利入围,双方确定了正式合作的意向,将合作建设国内金融行业规模最大、能力最强的大数据平台,目标支持500节点以上集群,满足行内各部门的大数据应用需求。

GoldenData HD是基于开源技术成熟的大数据商用平台,整合了中兴通讯在近10年大数据项目实践中的技术沉淀。平台涵盖了数据的采集、存储计算、分析挖掘、应用建模、可视化展现以及运维管理等全部能力。
GoldenData HD产品架构如下:

图片描述

产品主要特性:

1)成熟稳定:基于多年的技术和经验积累,平台的功能、性能、可靠性和稳定性都经过农行的极为苛刻的验证,达到了行业领先水平。

2)开放包容:集成超过20个组件,其中约80%为独立的开源软件。在融合的同时,进行了大量的创新和优化,使之更具商用价值。

图片描述

3)统一运维:统一大数据管理系统,一站式满足系统快速部署、集中管理及可靠运维需要。

4)安全可靠:精心设计的安全架构,构建高忱无忧的应用访问环境。

5)便捷访问:自主研制的开放管理中间件平台(ODPP),在大数据基础平台之上架设统一访问层。

6)快速开发: 平台集成了大数据挖掘分析相关的各种基础算法库、开发工具、可视化工具,客户可以快速实现应用开发,赢得商机。

经验总结

目前中兴通讯大数据平台GoldenData HD已经在中国农业银行多个研发部门应用,逐步替换CDH、IDH等已有产品。平台功能的完备性、性能的可靠性得到了客户认可。除了平台产品以外,中兴通讯还提供了技术开发、维保服务及培训、疑难问题解决、技术支持和客户化等多种类型的服务。

通过应用产品在中国农业银行的信用风险、身份鉴别、柜面业务改造、对公客户关系管理、合规审计等业务领域进行了实际应用。此外,管理会计、个人客户关系管理、风控等多个业务领域也在开展规划工作。

1.文件管理平台

文档管理平台是第一个移植到GoldenData HD上的业务应用。移植过程中,GoldenData HD平台中提供的Solr扩容工具,采用自动化技术能够自动将数据重新分布到新增集群节点,为移植后的扩容工作提供了有力的帮助,有效缩短了扩容过程周期。

图片描述

目前,此平台部署在中国农业银行上海数据中心50个节点的集群中,使用了HDFS、Yarn、Zookeeper、HBase、Hive、Solr等组件,为全行提供文档查询服务。系统投产后,因业务数据的飞速增长,于2017年5月进行扩容,之后再2017年11月进行迁移升级,有效提升了系统的负载能力。通过2年多的推广应用,文件管理平台从辅助性产品已经提升为业务支柱性产品,目前已经完成中国农业银行5个省份的网点柜面身份鉴别业务改造,2个省份的网点柜面业务无纸化改造。

2.信用风险:交易图谱构建

信用风险管理系统是中国农业银行大数据应用的核心内容,原有系统受限于系统结构,难以处理多达30亿的法人客户交易数据,仅月度数据查询一次就需要20多分钟,无法满足实际业务需要。为此,双方成立联合团队,在架构方面,确定了HDFS、Yarn、HBase、WAS、GBase组成的混合架构;在性能目标方面,创新性应用了HBase的协处理器,在集群中各RegionServer上进行分布式并行过滤与查询计算,实现了查询过程的降维处理要求,有效提升了查询反馈效率,使升级后的系统达到了预定性能目标。目前,此项目已经顺利投产。项目过程中,一共搭建了三套GoldenData HD集群,分别用于开发、测试、投产,有效帮助客户控制了项目研发周期,提升了系统性能水平。

图片描述

系统投产后,查询效率有了极大的提升。原月度数据查询需要20多分钟,改造后数据查询反馈速度小于1秒。

3.基于大数据的多维分析平台

为了满足金融分析业务需求,中国农业银行以Cognos为基础构建了庞大的多维分析服务系统。但随着数据的增长,原有系统逐渐成为阻碍行内优化精准营销的障碍。
在中兴通讯的支持下,2017年初,双方合作开展了大数据多维分析技术研究,以大数据平台的Kylin为核心组件,进行了深入的功能、性能研究、测试。经测试,发现面对大数据量的Cube,相比Cognos,Kylin的构建速度有近10倍的提升。

基于研究成果,2017年3月份,基于大数据的多维分析平台项目,以中兴通讯GoldenData HD(ZDH)为基础,构建百亿级数据量的多维分析平台,以云服务模式满足各领域商业智能分析需求。

图片描述

2017年7月此平台投产上线,并为管理会计系统提供了第一个Cube服务。后继将在各业务系统升级改造过程中,逐步取代原有的Cognos,实现全行集中的大数据多维分析服务平台。

专家推荐语

该应用案例基于对金融信息化系统在大数据背景下面临的实际挑战,深入分析了数据处理的复杂性问题,采用中兴通讯先进的大数据产品(GoldenData HD),构建了开放的数据存储、查询和分析系统,有效提升了海量数据存储和业务应用查询的速度,为中国农业银行在大数据时代的超越发展提供了有力的支撑。

阅读更多
版权声明:本文为CSDN原创文章,未经博主允许不得转载。 https://blog.csdn.net/sunhf_csdn/article/details/80133233
上一篇【BDTC 2017】专访中兴通讯杜学军:uSmartInsight,大数据与人工智能融合平台
下一篇智能消费导购与商品管控背后的“商品大脑”
想对作者说点什么? 我来说一句

中国农业银行字体

2015年08月12日 84KB 下载

大数据平台与推荐应用架构

2015年04月22日 2.3MB 下载

中国农业银行字体通用字体

2013年01月02日 93KB 下载

电商大数据平台架构设计及应用

2016年02月18日 458KB 下载

中国农业银行保卫信息系统简介

2008年12月28日 472KB 下载

没有更多推荐了,返回首页

关闭
关闭