诺亚财富 X Hologres ： 统一OLAP分析引擎，全面打造金融数字化分析平台

作者： 李欣 诺亚财富数据总监， 卢帅  诺亚财富高级数据开发

客户简介

诺亚控股有限公司以“诺亚财富”为品牌，源起于中国，是首家在港美两地上市的中国独立财富管理机构，首家开创了财富管理和资产管理的双轮驱动业务模式，同时也是国内首家获得标准普尔“投资级”评级的财富管理公司，公司业务涵盖财富管理、资产管理和其他业务。诺亚数据智能部门负责公司大数据体系框架建设，主要工作是支撑日常的BI分析，数据看板，人群画像，自助分析等场景。

在公司数字化转型的背景下，业务增长带来了数据量的激增，不同的数据需求衍生出各种数据服务，不同的数据服务选择不同的数据库和数仓技术，比如MySQL，Impala, Greenplum，ElasticSearch等。为了最大化的降低运维成本，提供高性能的数据服务，做到真正的极速统一，从2021年上半年开始，诺亚数据智能部门开始上云，将自建CDH替换成阿里云统一大数据平台，同时正式引入Hologres，替换核心的Impala OLAP分析部分，提升数据查询效率，全面打造金融数字化分析平台。因此在本文中，我们将会详细介绍诺亚从CDH迁移阿里云大数据平台的前因后果，以帮助更多的业务更加方便快捷的建设实时数仓。

业务挑战：自建CDH组件多运维难、交易指标多元查询慢

为了支持业务，诺亚原大数据架构采用Impala和CDH构架构建，架构图如下：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-M09VQMox-1666335313825)(https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/1c3b677143fe4aff9cecb1cc5b9feaee~tplv-k3u1fbpfcp-zoom-1.image “诺亚00.png”)]

在最初的架构中，我们从Cloudera购买了License 基于CDH 搭建了一套数据服务平台：上游的源数据库主要是 MySQL，Oracle，Mongo等 ，业务相关的数据和部分日志数据都记录在里面。我们通过 DataX 和 Sqoop 将数据库中的数据导入到 HDFS，通过 Hive的元数据映射生成 Schema，并接入 Impala 实现数据的即席查询。数据仓库的分层和建模全部都在 Hive 中完成，借助 LDAP 和 Sentry 进行用户权限管理，分析师在HUE中进行查询。

对于实时指标，我们通过Debezium 采集 MySQL 的 Binlog 日志，解析到Flink中