互联网和金融 在数据挖掘上究竟存在什么区别

转自：http://www.chinacloud.cn/show.aspx?id=21991&cid=22

(一)“分析”和“算法”

　　在互联网中，“分析”和“算法”，分得非常开，对应着“数据分析师”和“算法工程师”两种角色。前者更多侧重数据提取、加工、处理、运用成熟的算法包，开发模型，探索数据中的模式和规律。后者更多的是，自己写算法代码，通过C或python部署到生产系统，实时运算和应用。

　　在银行领域，基本上，只能看到第一种角色。数据基本上来源于仓库系统，然后运用SQL、SAS、R，提取、加工、建模和分析。

　　(二)数据类型

　　数据类型，主要包括“结构化”和“非结构化”两类数据。前者就是传统的二维表结构。一行一条记录，一列一个变量。后者包括文本、图像、音频、视频等。

　　银行里面的数据，更多的是结构化数据，也有少量的非结构化数据(投诉文本、贷款审批文本等)。业务部门对非结构化数据的分析需求比较少。因此，在非结构化数据的分析建模方面，稍显不足。

　　互联网，更多的是网络日志数据，以文本等非结构化数据为主，然后通过一定的工具将非结构化数据转变为结构化数据，进一步加工和分析。

　　(三)工具、存储和架构

　　互联网，基本上是免费导向，所以常常选择开源的工具，例如MySql、R、Python等。常常是基于hadoop的分布式数据采集、加工、存储和分析。

　　商业银行一般基于成熟的数据仓库，例如TD，以及一些成熟的数据挖掘工具，SAS EG和EM。

　　(四)应用场景

　　在应用场景上，两者之间也存在着非常大的差异。

　　(1)金融领域

　　金融领域的数据挖掘，不同的细分行业(如银行和证券)，也是存在差别的。

　　银行领域的统计建模。银行内的数据挖掘，较为侧重统计建模，数据分析对象主要为截面数据，一般包括客户智能(CI)、运营智能(OI)和风险智能(RI)。开发的模型以离线为主，少量模型，例如反欺诈、申请评分，对实时性的要求比较高。

　　证券领域的量化分析。证券行业的挖掘工作，更加侧重量化分析，分析对象更多的是时间序列数据，旨在从大盘指数、波动特点、历史数据中发现趋势和机会，进行短期的套利操作。量化分析的实时性要求也比较高，可能是离线运算模型，但是在交易系统部署后，实时运算，捕捉交易事件和交易机会。

　　(2)互联网

　　互联网的实时计算。互联网的应用场景，例如推荐引擎、搜索引擎、广告优化、文本挖掘(NLP)、反欺诈分析等，很多时候需要将模型部署在生产系统，对实时响应要求比较高，需要保证比较好的客户体验。

　　四、数据挖掘在金融领域的典型应用

　　别人常常会问，在银行里面，数据挖掘究竟是做什么的。也常常在思考如何从对方的角度回答这个问题。举几个常见的例子做个诠释。

　　

 

　　(一)信用评分

　　申请评分。当你申请信用卡、消费贷款、经营贷款时，银行是否会审批通过，发放多大规模的额度?这个判断很可能就是申请评分模型运算的结果。通过模型计算你的还款能力和还款意愿，综合评定放款额度和利率水平。

　　行为评分。当你信用卡使用一段时间后，银行会根据你的刷卡行为和还款记录，通过行为评分模型，判断是否给你调整固定额度。

　　(二)个性化产品推荐

　　很多时候，你可能会收到银行推送的短信或者接到银行坐席的外呼，比如，向你推荐某款理财产品。这背后，很可能就是产品响应模型运算的结果。银行会通过模型，计算你购买某款理财产品的概率，如果概率比价高的话，就会向你推送这款理财产品。

　　此外，很多时候，不同的客户，银行会个性化的推荐不同的产品，很可能就是产品关联分析模型运算的结果。

　　(三)个性化广告展示

　　登陆商业银行网站时，通常会有一个广告banner，banner上会展示若干幅广告。很多时候，不同的客户登陆网站，会接触到不同的广告，即个性化的广告推送。一般来说，后台经过计算，会判断，你对哪几款广告和产品感兴趣，最后推送3-5款你最感兴趣的产品，从而能够有效吸引你的注意，促进点击、转化和成交。