数据科学风云之互联网金融

开场白

大家好，我是jacky,朱元禄，很高兴与大家做直播分享，我一直都认为直播是一种生活方式，是一种通向未来的沟通方式，所以，今天就以直播的方式，跟大家做分享。

今天，我要分享的主题是《数据科学风云之互联网金融》，我会从三个方面跟大家分享：

• 互联网金融的生存哲学

• 机器学习、用户画像、语义分析、决策引擎技术在互联网金融中的应用

• 数据科学构架下的金融风控。

---

在主题开播之前，我对未来社会发展、进化的方式谈谈我的看法：三句话，跟大家分享：

• 第一句：五年之后，我们的竞争环境将从人与人的竞争，转变为人与机器的竞争，这是第一句话。

• 第二句：十年之后，一切生意都将成为数据生意。

• 第三句：十五年后，这个社会上只有一种道德，叫机器道德，一种数据科学构架下的机器人的道德。

上面的三句话，作为开场白，下面正式开始我的主题分享。

---

互联网金融的生存哲学

到底什么才是互联网金融？

对于什么是互联网金融的理解，现在的专家、屌丝和普通吃瓜群众的观点差异是很大的，概况起来分为三种观点

• 第一种观点：“去中介论”

  • p2p,就是个人对个人嘛，但是叫得上纯种P2P模式的金融，现在可能只有拍拍贷一家了，这里我说明一下，我直播的内容涉及到平台名称的，我都是本着客观的心态去说，没哪人任何好处，也不会揭露谁，所以举例的时候，我尽量不去说哪家平台，回到主题，我们说这是互联网金融的第一种理解：去中介。

• 第二种观点：马云提出的“互联网金融不是金融互联网”

  • 从字面上就很好理解，为了不曲解马云先生的观点，我原文读一下马云的讲演词：

未来的金融有两大机会：一个是金融互联网，金融行业走向互联网；第二个是互联网金融，纯粹的外行领导，其实很多行业的创新都是外行进来才引发的。金融行业也需要搅局者，更需要那些外行的人进来进行变革。
所以，我作为一个外行者，一个不懂金融的人，对金融好奇，不是因为他能赚多少钱，而是因为它可以让很多人赚钱，可以让很多人发生变化。我希望外行人能够参与这个领域，不仅仅是来搅局，而是共同创造一个未来。金融是为外行人服务的，不是自己圈里自娱自乐、自己赚钱的。——《马云》

• 第三种是媒体观点

  • 媒体观点大都是我们每天接受的关于互联网金融的信息，从我的角度说，我看到的都是本末倒置，黑白颠倒的，这里就不多说了，媒体也让一个本该说的清、很好理解的行业，让人看的很模糊

我们接着马云提出的“互联网金融不是金融互联网”，引出第一板块，互联网金融生存的第个个讨论点

互联网的人格化生存哲学

这部分分享两句话：

• 第一句话：互联网文化就是屌丝文化

• 第二句话：互联网金融的出生就是为生存而奋斗

互联网改变了我们的社交方式、改变了我们的行为方式、改变了我们的人性。很多人在线上和线下是两种人格，很难进行统一。线下是禽兽，线上往往是道貌岸然；有些人线下是君子，到了线上就满嘴喷粪。

互联网的文化就是屌丝文化，拿直播平台举例吧，首先这次直播得感谢云学APP给我提供的服务，感谢育茹老师的文案宣传和直播辅助。回到屌丝文化，回到直播平台，我自己本身也是一个屌丝，年龄越大，越希望当一个屌丝，可以更自由，随意的更大家分享，可以不用穿着西服去跟人喝茶握手，其实，做一个屌丝的感觉很好。

其实我本人是反感今日头条和快手直播的，我觉得它们把人类的价值观带入了误区。但是快手直播的用户人数达到了5.6亿，恐怕现在微信的活跃度也就如此吧，快手拿什么取胜，得屌丝者得天下，我们企业的管理者要时刻想着屌丝的需求，

其实这种屌丝文化对于社会来说是一把双刃剑，对于互联网金融企业来说，P2P既是可以融资的好地方，一样是可以诈骗的好地方。人性一旦发生变化，自然也会改变人的生活方式以及行为逻辑，最终导致金融逻辑也发生极大的变化。如何适应互联网文化，对金融机构而言是个极大的挑战。而这个挑战我们不得不面对，就像开场白我说的一样，人类未来会无可避免的面临互联网生活。

上面就是我跟大家分享的第一部分：互联网金融的生存哲学，一句话总结：适者生存，不断进化。

下面跟大家分享这次主题的“主菜”了，数据科学与互联网金融

---

数据科学与互联网金融

互联网金融行业完完全全是一个数据驱动的行业

互联网金融关键技术环节

整理逻辑

可利用的数据源

• 业务数据

  • 公司内部数据：借款人的历史，借款人还款的表现如何

• 公开数据

  • 在互联网上可以爬取到的数据，如人法失信的信息，某个行业的信息，公司的一些黄页

• 用户授权数据

  • 如用户消费的历史，用户信用卡的账单

用何种技术来挖掘应用这些数据源？

• 知识图谱

  • 把数据源经过清洗后，通过知识图谱的方式，把数据很好的组织起来。

• 决策引擎

  • 作用：通过决策引擎，能够在给用户授信的环节提供决策

• 机器学习

  • 通用技术

• 用户画像技术

• 语言分析技术

上面的技术，在后面的分享我会展开来讲。

上述技术应用到了哪些环节？

• 营销环境

  • 通过数据的科学手段，找到我们的渠道，找到我们的客户。

• 信用风险管理

  • 为了给用户授信，我们要通过技术手段判断客户信用风险是怎样的，我们给他多少的额度，多少的期限，多少的费率，这些信用风险管理环节都需要数据科学的技术手段实现。

• 反欺诈

  • 找出骗贷的人群，加以清理

• 贷后管理

• 合规检测

  • 现在监管越来越严，我们要监控我们跟用户交互的各个环节是否合规

我们该如何掌握这些技术？

为什么要讲本部分？
对我们了解业务，提升能力，提高应聘的成功率是很有帮助的，更能帮助学习数据分析和数据挖掘的朋友，厘清学习思路，数据科学领域，我们哪些该学，哪些学习就不要浪费时间了

数据准备

• 数据准备是会被很多人忽视的一项技术，但是它非常的重要，因为它要为后续的各种技术和业务环节做支撑的。

数据准备包含哪些技术呢？

• 数据仓库

• 网络爬虫

• ID Mapping

数据仓库技术

• 用途：通过数据仓库技术，我们能把数据很好的管理起来
• 举例：我们互联网金融的很多数据都放在我们自己的数据库中，针对分散在各处的业务数据，我们需要建立ETL过程，把非结构性数据转换为结构性数据，把数据实时的同步到我们数据库当中。

• 从业者和应聘者要具备哪些能力和技能？

  • 通常来讲，对于互联网金融企业，整个数据仓库的构架是基于Hadoop工具链的，我们需要掌握Hadoop的集群,掌握Hive(/haiv/).掌握卡夫卡。掌握这些，可以帮助我们完成大数据的这些基础设施的工作。

Hadoop通俗的解释
假如说你有一个篮子水果，你想知道苹果和梨的数量是多少，那么只要一个一个数就可以知道有多少了。
如果你有一个集装箱水果，这时候就需要很多人同时帮你数了，这相当于多进程或多线程。
如果你很多个集装箱的水果，这时就需要分布式计算了，也就是Hadoop。

网络爬虫

前面说过，用户的人法失信，企业黄页，工商的数据，我们要有能力抓下来，具体的过程和教学分享，我在新浪微博 数据分析－jacky,和微信公众号：数据分析部落，都有视频教学的分享，感兴趣的朋友，可以观看一下，都是免费分享的。

ID Mapping

我们拿到的数据都是放在不同的数据源当中的，我们要通过ID Mapping把这些数据做关联，可以根据用户ID关联起来，也可以根据用户的手机号关联起来，或是通过其他的字段关联起来的，做完ID Mapping之后，我们就能形成一个完整的数据视图，供后续的各种技术和环节进行使用。

知识图谱

下面说一说互联网领域“引以为傲”的技术—知识图谱，前面我们说我们通过数据准备，通过ID Mapping,已经把数据关联起来了，但是实际上，这些数据是有很复杂的网状结构的，我们需要把这些数据用知识图谱的形式进行组织。

应用的领域

• 授信建模

  • 模型构建举例：对用户身份id、电话号码信息进行标准化处理，对地址类信息使用深度学习方法进行匹配，如果借款人在平台的表现很良好，那我们就可以假设，跟他同一地址的人，同一单位人资质就很好。

• 反欺诈建模

在互联网金融中，很多的交易环节是在线上操作的，我们要在线上，在看不到客户的情况下给客户授信，把我们的贷款放出去，那很多别有用心的人就来了，我们在构架了知识图谱的体系之后，就有很多的技术手段，从图谱中侦破出这些欺诈的案件。

决策引擎

我们在给用户授信的过程中，是要做非常多的决策的，给用户多少的额度，给他什么样的费率，给他多长的期限，这些都需要做决策。

通常，互金企业会使用一些决策引擎软件：

• 商用的：blaze

• 开源的：

机器学习

机器学习包括深度学习技术，已经应用到我们互联网金融中的各个环节，从开始的营销、授信、反欺诈，贷中管理，到最后的客服，都用到了机器学习的技术。

授信环节举例：

• 金融行业很多的特征是比较高级的特征，我们数据科学家一方面开发这些特性进行授信，同时，我们也在非结构数据中使用深度学习技术，从当中提取特征，我们普及下，深度学习本质是特征的学习，这些用深度学习提取出来的方法，我们在跟专家的经验所开发出的特征做一个集成，这样就能达到最优的效果。

反欺诈环节举例：

• 我们在反欺诈的环节中作声纹识别，有些欺诈人在打电话的过程中，换了不同的号码，我们黑名单里记录的还是他以前老的电话号码，我们用机器学习，用声纹识别的技术，能够识别出他的声音，就可以判定为一次欺诈的事件。

我们也可以通过机器学习挖掘出啊黑产中使用的术语，我们也可以在网络上挖掘贷款中介在网络上留下的电话，以上都是机器学习在发欺诈环节中的一些应用。

营销获客环节举例：

这里可以观看我的免费视频课程，内容很多，就不赘述了。

贷中管理环节举例：

用机器学习预测是否需要提前介入。

用户画像

用户画像跟前面机器学习技术是交互来使用的，比如我们给用户打标签，经常也是机器学习的方法来做的。

应用场景—活动推广

互联网金融企业经常会有一些线上的活动，这些活动通常是根据不同客群来的，我们就要对客户进行分群，针对不同的客户进行研究，，我们就要了解我们客群的整体的画像，我们通过这样一个画像，了解到我们整体面对的客群是什么样的，从而优化我们产品策略，优化我们的市场活动，优化我们客户的策略。

语义分析

在整个互联网金融当中，有很多需要跟客户进行接触的环节，从最开始获客阶段，到后面客服服务的阶段，包括客户没有还款，催收介入的环节，都需要跟客户接触。跟客户接触的过程中，有语音的交互，也有文字的交互，那我们需要了解客户真实意图是什么。

举例来说，某一客户打来电话，向我们咨询问题的时候，我们的知识库里面是有标准答案的，我们通过语义分析的技术，来对语义的相似度进行计算，从而在话术方面给予更优，更快的一个回复

同样，对内来说，语义分析也可以检测我们业务人员的服务质量，互联网金融越来越合规了，我们一线的业务人员跟客户打交道的时候，经常会说一些不太合格的语言，我们通过语义分析，可以分析我们的业务人员跟客户交互的时候都用了什么语言来说。