星环TDH助力南方基金数据中心迈入大数据时代

星环TDH助力南方基金数据中心迈入大数据时代
2018-03-28 16:01

客户背景
南方基金1998年挂牌成立，为国内首批获中国证监会批准的三家基金管理公司之一，成为中国证券基金投资行业起始标志。2016年9月，凭借与腾讯理财通、微信等平台的深入合作，南方基金荣获腾讯2016年度“腾飞奖”——最佳合作伙伴奖，这也是基金行业惟一一家获得该奖项的基金公司。时至今日，南方基金已经发展成为国内产品种类丰富、业务领域全面、客户数量庞大、经营业绩优秀、资产管理规模最大的基金管理公司之一。
问题与需求
1）数据架构难统一，收集系统费时费力。券商行业，数据中心80%-90%都是混合架构。在基金行业里面，数据中心一般分为两部分，营销数据中心与投研数据中心。营销数据中心，存储大量TA的客户账户信息，做客户级别归并和分类分级；投资数据中心，基本是FA数据。
2）传统数据库无法支持现有数据增速。在南方基金营销数据中心，受限于TA业务发展，TA数据采集到营销数据中心，时间差值越来越小，数据量持续累积，传统数据库已经无法满足南方基金的需求。
3）数据采集、运算工具兼容效果不理想。南方基金原有数据采集产品，仅支持配套工具，无法满足多种产品使用同种工具，数据汇总混乱，数据分析与深入挖掘难度增加。寻求一种好的工具，为数据中心提供硬性平台，建立系统的架构标准，构建全新的、统一的数据中心，并帮助数据中心做数据探索，这是南方基金亟待解决的问题。
分步走，完成数据中心落地
TDH大数据平台在基金行业、基金公司里面的数据中心落地，分为如下几步：
第一步：支撑全系统运作的数据仓库构建。
从数据仓库、模型建设到交换平台和数据总线建设，可统称为数据服务，先把已有数据通过规范形式引进来，同时向外系统推送出去。完成数据服务后，进行数据集市建设，将营销数据在平台上进行构建，引入敏捷BI做指标标签，形成可视化非结构数据。第一步的实施，完成了建立数据仓库基础平台、实现客户数据统一交换、统一服务、统一管理的目标，对于业务人员自助查询、报表、领导驾驶舱的管理等业务给予了良好支撑。
第二步：以客户行为为最终导向的大数据分析。
基金公司多数客户来自代销渠道，真正具有价值的信息并不全面。对于有限的直销客户，快速响应并提供个性化服务，获取结构化、非结构化数据和行为数据，迫在眉睫。并后结合数据和平台工具技术做其他应用，对业务应用做精准营销、客户画像，去做小范围客户画像，再向外延伸。星环新一代New SQL数据库Hyperbase，对于非结构化数据完美支持，结合Inceptor，可进行秒级高效分析，支持全局索引和次级索引，实现高速的非主键查询；提供原生的JSON/BSON格式支持以及对象存储技术，及大简化非结构化数据处理。
数据中心的构建有三个方面：管理运营、业务创新、风险稽核。在内部管理层面，建立管理驾驶舱，实现个性化理财服务，实现客户精准化营销，创新业务产品开发，员工行为数据分析和客户行为数据挖掘分析，客户标签也是着手点。但是做这些东西，第一数据需要有足够的地方存储，第二需要有一个模型算法能够进行支持，第三公司内部有专业人才团队能够支撑。
基于星环大数据平台的环境部署

TDH大数据平台集群通过每日实时数据接口和数据采集、清洗、转载和转换结合调用，解决了混乱的数据传输，形成统一标准。在不断增加节点数的情况下，实现数据的业务需求，助力南方基金内部业务系统和核心系统运作。
数据进出数据平台，一方面抽取数据，基于FA数据到无线服务器，通过Informatic进入到贴源层，建立外表，通过外表进入汇总层，再进入集市层。集市层加工后的数据，成为一份冗余到星环查询库Hyperbase，在Hyperbase层面上向外服务。在集市层、汇总层的数据，有前置库去支撑外部系统对数据结构表的需求，是微服务的一个在线查询需求。另有客户行为数据，以电商网站APP为平台，Kafka采集行为数据之后，通过Stream SQL投进数仓，这种操作在星环TDH大数据平台上面的组件工具进行尝试，效果显著。
TDH在大数据领域、金融科技、人工智能等方面取得的效果喜人，在传统数仓、数据存储和计算方面也是优势明显，而且星环人才济济，可以提供强有力的团队做支撑和维护，解决了企业自身团队支撑不足等问题。
实施效果
目前为止，南方基金日数据采集是多个TA，FA、OA以及FMDC等，有十多个数据库，几百张多张原始表。在指标计算方面，可达到近百个常量化标准，南方基金现在有近三千万客户，每天客户数据进入，通过模型整合之后，全部运行常态化指标、单客户、TA账户以及TA账户每个产品下分产品，部分产品做汇总等全部在平台上完成。近百个常态化指标，加上扩散的维度，可达到近600个指标，传统数据库完全无法胜任运行以上全部指标，TDH的平台系统，很好的运行了这些指标，并将全部运行速度提升过半。
南方基金与星环TDH大数据平台的强强联合，充分实现了南方基金未来对大数据应用的想象和期望，以数据说话，未来可期。返回搜狐，查看更多