使用 Yoda 和 ClickHouse 进行实时欺诈检测

背景

Instacart 是北美领先的在线杂货公司，拥有数百万活跃的客户和购物者。在其平台上打击欺诈和滥用行为不仅对于维护一个值得信赖和安全的环境至关重要，也对保持Instacart的财务健康至关重要。在这篇文章中，将介绍了一个欺诈平台——Yoda，解释了为什么我们选择ClickHouse作为实时数据存储，并提供了这个系统如何帮助其打击各种类型的欺诈活动的一些见解。

欺诈模式本质上是多样化和广泛的，从假账户到支付欺诈以及客户与购物者之间的串谋。我们的欺诈平台团队开发了Yoda，这是一个决策平台服务，用于快速检测此类欺诈活动并采取适当的措施。有了Yoda，实施了区分合法活动和欺诈活动的规则，并定义了我们作为结果应该采取的行动。行动可以从标记活动进行审查、阻止交易，甚至禁用账户等不同范围。

欺诈平台的关键特性

总体来说，平台需要具备以下特点：

自助服务和灵活性：欺诈可能采取多种形式，系统应该是自助服务的，并且足够灵活，以便欺诈分析师和运营团队能够创建规则，以应对各种类型的欺诈模式。 低延迟：系统需要快速评估数据并做出决策。 实时性：系统应该能够访问实时数据，因此可以基于最新数据做出实时决策。

为了能够在几毫秒内做出欺诈决策，Yoda使用ClickHouse作为其主要的实时数据存储。ClickHouse是一个快速且高性能的分析数据库，在Instacart被广泛使用，以支持其他用例，如关键零售商和广告仪表板，计算A/B测试的结果，以及机器学习信号。

Yoda概述

在高层次上，Yoda实时规则的一个典型生命周期是：

1. 分析师通过用户界面创建、读取、更新和删除规则。
2. 一个决策请求进入实时系统。
3. 特征系统根据请求信息和相关规则配置获取和聚合特征。特征可以来自机器学习推理服务、Instacart的内部特征商店和ClickHouse。
4. 评估服务评估规则，将检索到的特征与规则逻辑进行比较，以进行决策和行动。行动的例子包括对购物者的警告、暂停和发出自拍识别检查。
5. 行动调度整合已评估的行动，并调用适当的行动服务。

为什么选择ClickHouse？

在这里，Yoda的特征系统与ClickHouse作为实时数据存储的集成（3）对于实现快