金融行业数据平台的技术演进是一个复杂且持续发展的过程,主要经历了数据库、数据仓库、数据湖以及湖仓一体四个阶段,并在近年来随着AI大模型的兴起而进一步发展。
1. 数仓与数据湖的发展
数据仓库(数仓)是早期的数据管理架构,主要面向结构化数据的存储和分析。由于数据仓库的容量有限,在应用过程中容易产生数据孤岛。对于数据规模较为庞大的企业来说,若完全依赖于数据仓库,通常要面对不小的成本。
数据湖则在数仓的基础上发展而来,专注于非结构化数据的存储和处理,现代化的数据湖具有统一的数据存储,可以大批量地进行导入。但是,数据湖在数据分析性能、数据管理与治理方面也存在不足。
随着技术的不断更迭,数据仓库与数据湖的能力呈现明显的融合趋势,开辟出了一条湖仓一体的发展路线。湖仓一体技术结合了数据湖和数据仓库的优势,形成一种更强大、灵活且易于管理的数据管理架构,逐渐成为当代大数据平台的事实标准。
2. 为什么越来越多的金融企业选择湖仓架构?
回答这个问题,需要回到金融行业数据特点结合着看,这其中不乏外因(技术与政策发展)和内因(业务场景变化)相互作用影响,金融行业数据特点具体如下:
1. 数据种类多样、数据量增长迅速
随着5G、物联网、云计算、人工智能等新技术的发展,金融机构不再局限于线下的网点或设备服务,而是通过业务流程再造实现更加实时的业务,这一变革伴随而来的就是数据种类的增长。当前,金融机构所涉及数据类型包括:
结构化数据:主要来自银行交易、保险保单;
半结构化数据:主要包括用户行为数据、日志文件数据,通常以JSON或XML格式存在;
非结构化数据:主要包括文本、图像、音频和视频等;
金融行业每天产生的数据量巨大,并且随着业务的扩展和技术的发展,数据量在迅速增长。以银行业务为例,用户的在线交易、移动支付、财富管理等都产生了大量的数据。
2. 业务场景复杂、数据时效性要求高
上述各个业务发展到一定规模时,业务交互所产生的数据不仅需要被有效存储,还需要快速清洗、处理,从而为前端实时应用提供保障,例如业务的事前预测、事中决策和事后分析等环节。复杂的业务场景,也要求着数据的管理必须适应多变的业务需求。
基于上述的数据特点,要求金融机构具备更强大、灵活的数据管理架构,而湖仓一体作为则为金融行业提供了新的选择。
3. 金融湖仓架构建设的关键技术
金融行业需要引入更先进的技术来获取和处理实时数据,包括引入新的数据库技术栈来实现数据的实时捕获、更新、处理和应用。
1. 数据存储技术:可以使用分布式文件系统如Hadoop分布式文件系统(HDFS)来存储大规模数据集,同时,为了解决Hadoop在某些方面的局限性,包括Iceberg、Hudi和Paimon在内的多种数据表格式和数据管理系统也正在被更多企业选择。
2. 数据处理与查询引擎:需要支持从不同业务系统中,提取数据源并加工流转到湖仓。同时,需要高性能的查询引擎如支持SQL查询和数据分析,在数据湖上执行分析,提供快速的数据访问和分析效率。
以开源产品StarRocks为例,StarRocks采用了开放的lakehouse架构,所有数据统一录入到湖中,再按需供业务端进行数仓的应用建设,湖与仓充分融合并共享一份数据,彼此互联互通,同时,该架构能兼顾成本和性能,同时在资源扩展上也能达到弹性的效果。
另外在湖仓建设过程中,数据的质量和安全是金融机构需要重点关注的。镜舟科技基于StarRocks开发的湖仓分析引擎,在数据安全与权限管理上提供企业级支持,包括多种安全认证、数据加密、鉴权与访问控制、审计追踪等安全保障能力,满足金融行业客户对数据安全的需求。
4. 湖仓与大模型
随着AI大模型的突飞猛进,金融行业从传统的机器学习数据挖掘转变为AI大模型体系,面对着越来越多的非结构化数据挑战。这要求湖仓一体架构能够支持更复杂的AI计算需求,如SQL查询、机器学习和图分析等。
StarRocks for LLM:助力智能数据处理
• 高效向量搜索:通过支持余弦和欧式距离,实现高性能的向量搜索,帮助企业在大数据中快速找到相关信息。
• 集成Langchain:与Langchain无缝集成,StarRocks作为高效向量引擎,助力企业快速实现基于检索增强生成(RAG)的应用。
• 先进算法支持:采用HNSW和IVFPQ算法,支持范围搜索和标量过滤,确保数据检索的准确性和效率。
• 卓越性价比:整体性能提升10倍,单机可处理百万数据集,50个并发请求响应时间保持在20毫秒以内。
LLM for StarRocks:降低数据使用门槛
• 智能报表生成:通过自然语言处理(NLP)技术,自动生成SQL报表,结合AI和SQL,显著提升开发效率。
• 降低使用门槛:结合大模型,提供类似ChatBI的交互式业务探查功能,使业务人员无需专业技术背景即可高效使用数据。
• 广泛兼容性:StarRocks可以与Vanna、DBGPT等框架融合,进一步扩展其应用场景和功能。
StarRocks 结合自动化报表生成和智能业务探查功能,能显著降低企业开发和数据使用的门槛,提升整体运营效率。同时通过高效的数据处理能力和搜索能力,增强业务决策的速度和准确性。StarRocks与大模型也还在探索更多碰撞和融合,帮助企业在提升性能的同时,带来显著的成本效益降低。