分钟级实时数据分析的背后——实时湖仓产品解决方案

随着信息技术的深入应用，企业对市场的响应速度也在不断提升，而且这种响应速度正在变得越来越快，没有最快只有更快。对数据实时性要求的提高，是眼下很多企业遇到的一个新的挑战。

从生产侧的视角来看，系统实时监控与实时健康状态检测已成为确保系统稳定性和可靠性不可或缺的关键功能。它们能够即时捕捉并处理潜在问题，对系统的顺畅运行起到保驾护航的作用。而在营销侧领域，搜索推荐、实时营销策略制定以及分钟级趋势分析能力，则成为了企业运营团队的核心竞争力。具体到业务实操层面，实时欺诈检测技术、异常交易监测机制、精准的行为认证手段和高效的账户校验系统等，在现今的商业环境中都扮演着至关重要的角色。

简单来说，数据的时效性，是否足够“快、精、准”，会真正影响到一个企业的生存。

随着技术的发展，湖仓一体的概念开始被提出，袋鼠云在结合当前数据湖技术的基础上，建设实时湖仓平台，满足客户亟待解决的数据需求。本文将详细介绍实时湖仓解决方案，让企业能够更专注地去解决他们的业务价值。

实时业务场景遇到的问题

数字化时代，实时数据运用广泛，尤其在互联网、电商、金融等行业，实时数据反馈对业务运营和决策制定至关重要，对于数据时效的要求都达到了分钟级甚至秒级。

下文以信贷业务的银行动帐场景为例，介绍当前实时数据应用的业务场景，以及遇到的困境。

动帐交易，主要指开通帐户线上发生的业务，包括支付转帐、内部转帐、转存、网上缴费等交易。如：“交易流水表” 23:00:00，张三转入100元；“客户表” 张三的余额从100元更新为200元。

每次的一次动账操作都是一个事务，至少要操作两张表。第一张表是交易流水表，记录转账的一次行为，第二张则是用户的属性表，其中有一个字段是用户的余额，需要随着转账同步更新。

• 用户交易流水表

主要为 Insert 操作，记录行为信息，适合增量计算，如：统一开户、取款、贷款、购买理财等事件行为。

• 客户属性表

主要为 Update 操作，记录属性信息，适合全量计算，如：客户存款、贷款、理财、基金、保险等产品的余额。

在湖仓技术出现以前，企业在做数据建设时基本采用 Lambda 架构实现流和批数据流的架构。原因在于，Lambda 架构是当时比较成熟稳定的流/批数据处理模式，在各个领域的应用也非常广泛；同时因为其耦合度低，标准化高的优点，使得 L