技术动态 | 多模态关系网络在金融风控中的应用和落地实践

转载公众号 | DataFunSummit

---

导读 本次分享的课题是多模态关系网络在金融风控中的应用和落地实践。

主要内容包括以下四大部分：

1. 多模态关系网络在风控中的应用背景

2. 多模态关系网络关键技术

3. 风控中的应用案例

4. 总结与展望

分享嘉宾｜王小东 成都新希望金融科技有限公司 AI中心总经理

编辑整理｜方星泰

内容校对｜李瑶

出品社区｜DataFun

---

01

多模态关系网络在风控中的应用背景

关系网络也称之为社会网络，是人和企业、企业和企业，以及设备和设备等等之间的联系。

关系网络在金融领域的应用非常广泛，基本上每家企业都会将关系网络应用于风控等场景中。传统的关系网络是基于人的基本信息、手机的基本信息等一些结构化数据，这些数据对识别风险的作用相对有限。用户在办理金融业务过程当中，除了这些结构化数据以外，还会产生很多非结构化数据，例如身份证照片、活体照片，以及通电话时的声音等，这些数据对于构建关系网络是非常有价值的。

因此我们提出了多模态关系网络，即在传统关系网络的基础之上，把活体背景、身份证背景、经营场所、声纹、微表情、情绪、欺诈、GPS、IP、设备、手机号、背景文字等数据进行处理，转化成一种多模态的关系网络，让关系网络变得更复杂，内容更丰富，以更好地识别用户的风险情况。

多模态关系网络可应用于以下场景：

• 模型开发：多模态关系网络中的关联特征可以丰富风控模型指标，提升模型 KS。

• 策略应用：丰富用户画像，提取特征参与风控决策。比如背景的关联，同一个 GPS 下出现了短期内一个背景的高度聚集，这种情况一般都是黑产或中介攻击，可以直接拒绝。

• 数据挖掘：解析理解非结构化/半结构化数据为向量/特征。

• 黑名单：包括声纹黑名单、背景黑名单、人脸黑名单等。

• 团伙挖掘：可以在事中进行团伙/黑产挖掘。比如短时间内，同 1 个 GPS 下同一个背景出现了5次，就可以把它定义成一个团伙，去做事中处理。

• 关系推理：包括同事关系、亲属关系等。

02

多模态关系网络的关键技术

1. 数据来源

在金融领域中，从用户申请到用户授信，再到提现，以及贷后，所有环节的数据都可以进行有效挖掘，然后导入到一个关系网络里面，人和人之间、人和设备之间以及案件和案件之间都进行一些关联，从而提升业务的风控能力。

2. 数据处理流程

一般情况下在企业内落地的时候，首先会进行图知识库的构建，构建过程可以从数仓通过 T+1 的方式，先提取历史数据，再进行关联。因为每次从大平台去取数据比较慢，可以将取得的有效数据先放到类似于 MySQL 这种数据库里面。接着根据算法和业务逻辑定义一些实体和关系。实体既包括设备、人、WiFi、IP 地址等结构化数据，也可以包含图像、声音、视频等非结构化数据，通过一些方法将这些数据进行特征表达，再建立其间的关系，写到图数据库中。在企业内部可以先去进行离线团伙的挖掘，检验其准确性，如果挖的准，就可以推到线上，在生产环境中还要做到实时的关系建立和关系查询。

3. 系统架构

整体架构如上图所示，底层依赖于各个业务系统，中间是多模态关系网络，除了处理一些基本的设备、人、手机号这些信息以外，还要去处理图像、背景、音频、视频等信息。它需要依赖于 GPU，所以硬件层有 GPU、CPU 等。

接着上层的服务有一些系统服务，也会有一些算法服务，系统服务包括向量引擎，为实时风控提供支撑，还包括 AI平台、MaaS 平台、建模平台，以及规则引擎，比如如何定义一个团伙，如何去告警，这些其实都需要规则引擎去做加持。AI 算法包括身份证背景算法、人像背景、图像特征、声纹特征，还有文本相似度等等。

再往上，基于架构搭建了一套服务，包括关系可视化、特征工厂、人像搜索、背景搜索等，用于营销或者是风控推荐。再往上的话就是具体的业务场景了，比如贷前、贷中、贷后、反欺诈，以及团伙挖掘、风险识别这些，都是可以基于这个平台进行处理的。

4. 背景类技术

背景类相似判断比较复杂，需要结合图像结构信息、纹理信息、空间信息、颜色信息以及深度学习的局部特征一起建模提取特征判断相似性。

比如上图中左边的样例图，我们要判断背景是否相似，第一步会先把人像和身份证等这些从图像里面分割出来，因为它不能够去参与建模，如果参与建模其背景像素识别得非常差，所以首先第一步会进行分割，剔除身份证信息。基于剔掉之后的信息，去参与建模，在实践过程中就是一个背景和另外一个背景相不相似，光依赖于深度学习是不行的，因为深度学习主要学习全局的特征。很多背景相似，比如可能存在结构化的信息，头顶会有一个光源，或者比如背景是一个带有结构性信息的，或者带有纹理信息的，或者颜色信息的，需要有一些传统的图像处理方法去提取这些信息，只有把深度学习提取的特征跟传统图像过程提取的特征融合在一起建模，算出来的背景是否相似才是比较准确的，如果仅依赖于其中的一个方法，效果会很不理想。这里面深度学习采用的是 DINOv2，一个基础的图像大模型，然后在它上面做了一些微调，去做背景特征的处理。我们把一些传统的特征抽取方法也结合在一起，这样可以得到比较好的效果。

5. 人脸类技术原理

主要看用户在进件过程中有没有另外一个人出现在其镜头中，这种情况下一般都是有问题的。我们通过人脸识别技术去挖掘除了用户以外的第二张脸或者是第三张脸。还有很多时候黑产会做很多用户的活体视频来模拟各种用户身份，攻击贷款程序，这时会出现一个短期内的人脸攻击的行为，所以也要关联在一起，放到业务逻辑中去。

6. 声纹类技术原理

需要识别不同电话中是否有出现声音的高度聚集，很多中介代办或者中介代接听都是让用户把 sim 卡寄给他，然后他来帮用户接听所有电话，这时就可以通过声纹技术去挖掘是否存在团伙聚集。

具体做法是，首先对声音进行梅尔频谱的提取，接着将其以图像的方式对接到建模中去。然后区分声纹，采用了经典的人脸识别的算法，即让同一个人的声纹尽量相似，让不同人的声纹尽量都拉得开一点，采用这样的一个三角函数进行 loss 的计算，进行模型训练，以提取声音特征。

7. 欺诈类攻击

欺诈类攻击，手段层出不穷，需要快速响应，我们采用了一套大模型技术去实现图像类的攻击检测。

我们将生产中的数据，比如人像、身份证、流水、结婚证、房产证等信息，进行处理后，采用 DINOv2 的大模型进行了微调，调成一个能够识别金融领域图像数据的基础大模型，当然我们也融合了很多传统的深度学习的小模型，将大小模型放在一起，提供了一个系统，方便大家在导入数据后进行模型的快速开发和上线。

8. 海量图像/语音/文本/视频关系判别

多模态关系网络除了前面那些算法以外，还有一些特征的处理方式。一个声纹和一个声纹要不要关联，以及一个背景和一个背景是不是相似，都是把它抽取成一个特征的，然后把它入到一个向量引擎里面去。每次在建图关系网络的时候，首先查一下是否存在关联，有关联的话才会去写一个关系放到关系网络里面去。所以关系的计算是放在外围的，而不是放在图数据库里面，通过向量引擎的方式去进行千万级数据的快速查找。核心点是把声纹、图像、文本通过深度学习算法，编码成一个 768 维或者 512 维的向量，存到向量数据库中，然后向量数据库就会用用户的 UIN 或者是用户的唯一标识去标识它。在进行多模态关系网络构建的时候，会根据相似度，比如达到一定阈值，就可以建一个关系，导入到关系网络中。

9. 多模态关系构建

多模态关系网络构建是这样一个流程，在整个信贷过程中，会有 OCR 环节，活体环节以及填写表单环节，包括提现、贷中、贷后环节，其实每个环节都会采集到用户的 GPS、手机设备、身份证图像、身份证、OCR，然后这些信息其实都可以去进行算法的处理，去建立关系，然后喂入到关系网络里，在真实的业务发生过程中，也可以通过这种方式去进行关系的及时查询，从而去参与一些策略决策，比如把用户直接转人工或者直接拒绝掉等等。

10. 关系搜索与查询

关系搜索和查询，和使用传统的数据库是一个道理。除了传统的手机号、设备等等这些关系以外，去定义人脸相似的关系、声纹的关系、相似的背景等等。基于这些关系就可以通过 graph SQL 进行关系的查询，用于策略和决策。这里需要注意的是，当融入多模态信息之后，一个关系里面的超级节点就会变得非常大，所以还需要工程技术去解决这种超级节点的问题。

11. 关系搜索与问题定位

当然也经常会出现用户和用户是相似的背景而没有关联在一起等问题。所以我们这里也提供了一个搜索的能力，可以用图去搜图，或者用声纹去搜声纹，以发现到底相似度是多少，为什么没有入关系网络，或入了关系网络到底入的对不对。

03

风控中的应用案例

首先是反欺诈领域的一些应用，在一些银行落地过程中，我们发现一些黑产或者黑中介都是让用户来到一个房子里面，在一个办公室同一个 GPS 下，大家都开始刷脸去办贷款，这就会呈现出短时内同一个 GPS 下的背景高度聚集，所以通过这种方式可以发现很多黑产和中介窝点。

另外，在交易侦测领域，一般在用户出现风险的时候就会转人工，如果有问题就需要交易侦测的同学去进行审核，在审核过程通常都会去查看用户活体、经营场所、声纹等是否存在问题。这个时候就可以用到我们的技术进行案件之间的关联，比如用户可能是在同一个经营场所下去做的贷款，或者用户在同一个背景下去做贷款，这些都是交易侦测的同学审核案件时的重要抓手。我们会把多模态信息关联在一起，去丰富关联画像，从而帮助交易侦测同学快速地审核。

第三是贷后应用，比如经常会存在中介/反催收联盟，他们会呈现不同电话号码的同一个声音的高度聚集，这个时候就可以用我们的多模态关系网络技术，把每个用户打电话过程中产生的语音进行结构化，进而去发现关联。如果不同的手机号，声纹的关联数比较高就代表肯定有问题，因为不同的手机号打出去之后声音应该是不一样的。同一个人的电话，前后声音不一样也是有问题的。通过关联可以帮助业务及时处理风险问题。

除了挖关联，我们的多模态关系网络也可以用于建模，比如同一个 GPS 下，7 天内的关联数等信息可用于信用建模。现在很多模型性能提不上去，是因为数据本身的限制，但是我们的多模态关系网络就可以把这些非结构化数据也进行特征的抽取和关联，然后这些特征和关联信息都可以与传统的数据融合在一起去进行建模。经过实验发现，这种方式下模型可以得到更好的性能，可以得到 4% 左右的 KS 的提升。

04

总结和展望

1. 总结

风控技术升级：因为我们的多模态关系网络融合了图像、背景、声纹、文本这些结构化信息，并将其与传统关系网络这种基本信息加在一起，让关系变得更复杂、更准确，从而为业务保驾护航。另外它也可以丰富用户画像，提高模型精度，可以用这种方式去挖掘出更多的特征以及更多的关联，用于模型的建立，为用户画像提供新的思路和解决方案。

反欺诈层面：除了传统的 GPS、IP、设备指纹、地址基本关联以外，把多模态的关联也加到我们的关系网络里面去，从而让我们的关系网络变得更加准确，团伙识别也更加准确，为反欺诈提供助力。

提升模型精度：因为现在很多模型在建模的时候用的数据都是结构化数据，多模态关联出来的一些特征在建模时，变量的 IV 值还是比较高的，完全可以去用于参与风控模型的建设，让风控模型变得更加准确一些，让模型效果变得更好。

2. 展望

下一步将从如下几个方面开展进一步的研发：

更多维的关联：通过微表情关联，研究是否存在相同的微表情，进而去挖掘更多维度的欺诈信息。

性能优化：融入多模态信息以后，关系网络中存在超级节点，可能会影响查询性能，因此需要进一步优化查询性能。同时，优化多模态网络关系建立的性能。

算法优化：背景相似度中背景和背景之间往往可能是因为某些局部信息不一样，而导致相似度计算出问题，需要考虑全局特征和局部特征的融合。并进一步优化特征提取算法，包括声纹、人脸、图像、文本等特征抽取，让关联关系更加准确。

模态融合：目前一些用户的图像、语音这些数据是分开去建立关系的，下一步将考虑将其在一起建立关系，从而获得更高维的特征。

以上就是本次分享的内容，谢谢大家。

分享嘉宾

INTRODUCTION

王小东

成都新希望金融科技有限公司

AI中心总经理

曾就职于华为和蚂蚁金服人工智能部，从事大数据和 AI 技术相关研究 10 年左右。现就职于新希望金融科技，担任 AI 中心总经理，负责研发基于 AI 和大模型的创新型产品和新技术探索与突破，研发成果多次在未来银行大会进行发布。以第一作者申请发明专利 30 多项，发表论文近 10 篇。工作期间获华为 2012 实验室代码百强员工，新希望金融科技总裁特别奖，金熊猫高价值专利奖， Qcon 全球软件技术大会优秀讲师，Fcon 全球金融科技大会优秀讲师等，主持多项四川省科技厅重点项目和 AI 项目，获得多项科技成果等奖项。

---

OpenKG

OpenKG（中文开放知识图谱）旨在推动以中文为核心的知识图谱数据的开放、互联及众包，并促进知识图谱算法、工具及平台的开源开放。

点击阅读原文，进入 OpenKG 网站。