【机器学习PAI实践四】如何实现金融风控

标签: 机器学习 算法 数据
3228人阅读 评论(0) 收藏 举报
分类:

(本文数据为虚构,仅供实验)

一、背景

本文将针对阿里云平台上图算法模块来进行实验。图算法一般被用来解决关系网状的业务场景。与常规的结构化数据不同,图算法需要把数据整理成首尾相连的关系图谱。图算法更多的是考虑边和点的概念。阿里云机器学习平台上提供了丰富的图算法组件,包括K-Core、最大联通子图、标签传播聚类等。
本文的业务场景如下:
下图是已知的一份人物通联关系图,每两个人之间的连线表示两人有一定关系,可以是同事关系或者亲人关系等。已知“Enoch”是信用用户,”Evan”是欺诈用户,计算出其它人的信用指数。通过图算法,可以算出图中每个人是欺诈用户的概率,这个数据可以方便相关机构做风控。

二、数据集介绍

数据源:本文数据为自己生成,用于实验。
具体字段如下:

字段名 含义 类型 描述
start_point 边的起始节点 string
end_point 边结束节点 string
count 关系紧密度 double 数值越大,两人的关系越紧密

数据截图:

三、数据探索流程

首先,实验流程图:

1.最大联通子图

最大联通子图的功能很好理解,前面已经介绍了,图算法的输入数据是关系图谱结构的。最大联通子图可以找到有通联关系的最大集合,在团伙发现的场景中可以排除掉一些与风控场景无关的人。本次实验通过“最大联通子图”组件将数据中的群体分为两部分,并赋予group_id。通过“SQL脚本”组件和“JOIN”组件去除下图中的无关联人员。

2.单源最短路径

通过“单源最短路径”组件探查出每个人的一度人脉、二度人脉关系等。distance讲的是“Enoch”通过几个人可以联络到目标人。
如下图:

3.标签传播分类

“标签传播分类”算法为半监督的分类算法,原理是用已标记节点的标签信息去预测未标记节点的标签信息。在算法执行过程中,每个节点的标签按相似度传播给相邻节点。
调用“标签传播分类”组件除了要有所有人员的通联图数据以外,还要有人员打标数据。这里通过“已知数据-读odps”组件导入打标数据(weight表示目标是欺诈用户的概率):

通过SQL对结果进行筛选,最终结果展现的是每个人涉嫌欺诈的概率,数值越大表示是欺诈用户的概率越大。

四、其它

参与讨论:云栖社区公众号

免费体验:阿里云数加机器学习平台

查看评论

一文看懂机器学习与大数据风控

导语:机器学习在风控中的作用究竟如何,有哪些关键技术,其优势与缺点又有哪些呢? 一个普遍的看法是,机器学习等人工智能技术会最先在金融领域落地。金融行业是最...
  • leiphone
  • leiphone
  • 2016-11-17 17:23:10
  • 661

金融领域中的机器学习—现在和未来

http://sanwen.net/a/csioaoo.html 在移动银行,熟练的聊天机器人或搜索引擎出现之前,机器学习在金融领域就有广泛应用。由于交易量比较大,交易历史数据精确完...
  • xuxiatian
  • xuxiatian
  • 2016-10-09 17:32:20
  • 5188

机器学习如何应用于金融领域?

转自:http://mt.sohu.com/20160721/n460368881.shtml 去年P2P公司遇冷后,纷纷转型称会用大数据、机器学习等科技手段服务金融,摇身一变成为时髦的Fi...
  • xuxiatian
  • xuxiatian
  • 2016-11-09 16:50:47
  • 1645

金融领域如何基于大数据做风控

金融主要分为资产、负债和非息业务。现在的很多互联网金融产品也都是基于这些业务衍生出来的,例如三方支付、投资理财、P2P、消费信贷、分期、白条等等,而在这其中P2P、消费信贷、分期、白条等都属于信贷类业...
  • scorpio3k
  • scorpio3k
  • 2016-09-11 21:39:35
  • 3033

利用图算法实现金融行业风控

摘要: 本文将针对阿里云平台上图算法模块来进行实验。图算法一般被用来解决关系网状的业务场景。与常规的结构化数据不同,图算法需要把数据整理成首尾相连的关系图谱。图算法更多的是考虑边和点的概念。阿里云机器...
  • zhoutaotao123
  • zhoutaotao123
  • 2017-02-13 16:25:20
  • 1432

机器学习如何与传统行业结合?金融领域可能是最大风口

微信公众号 关键字全网搜索最新排名 【机器学习算法】:排名第一 【机器学习】:排名第一 【Python】:排名第三 【算法】:排名第四 《金融信贷风控的机器学习实战》 ...
  • Mbx8X9u
  • Mbx8X9u
  • 2017-11-30 00:00:00
  • 410

阿里云机器学习PAI-快速上手指南

阿里云机器学习PAI-快速上手指南 What is 机器学习 机器学习指的是机器通过统计学算法,对大量的历史数据进行学习从而生成经验模型,利用经验模型指导业务。目前机器学习主要在以下一些方...
  • forest_world
  • forest_world
  • 2017-05-08 14:41:14
  • 4241

机器学习->推荐系统->冷启动问题

我们之前讨论推荐系统的UserCF算法和ItemCF等算法都是以拥有大量用户行为数据为先决条件,并以此对物品或者用户进行自动聚类。但是对于一个刚刚开始运行推荐系统的应用的网站来说,如何在没有大量用户行...
  • Mr_tyting
  • Mr_tyting
  • 2017-03-19 15:05:25
  • 3494

小象学院 数据分析和数据挖掘资源分享

小象学院 数据分析和数据挖掘百度云链接https://pan.baidu.com/s/1pNspuKb
  • hjh13310784971
  • hjh13310784971
  • 2018-02-13 23:02:06
  • 215

半监督学习(semi-supervised learning)

自 P(x) 生成的无标签样本; 自 P(x,y) 生成的标记样本;
  • lanchunhui
  • lanchunhui
  • 2017-01-02 21:59:42
  • 752
    统计

    主要讲述算法和业务的结合,适合初学者

    机器学习实践应用

    京东地址

    作者公众号:凡人机器学习

    凡人机器学习

    个人资料
    专栏达人 持之以恒
    等级:
    访问量: 89万+
    积分: 1万+
    排名: 1618
    博客专栏