大数据背景下的互联网金融应用领域

以下的内容均是摘自2014BDTC【陈继东：解密蚂蚁金服基于大数据的安全和风控体系】
链接如下http://www.csdn.net/article/2014-12-05/2822961?locationNum=12&fps=1
陈继东采访问答整理如下

请首先介绍一下您公司的业务，大数据对公司业务的价值，以及您部门的职责？

陈继东：蚂蚁金服以小微企业和普通消费者为主要用户，建立以数据、技术、服务这三个开放平台为核心的金融生态，支持和帮助合作伙伴，共同为用户创造价值，旗下业务包括支付宝、支付宝钱包、余额宝、招财宝、蚂蚁小贷及筹备中的网商银行等。大数据是蚂蚁金服的核心，从数据化运营到运营数据，建立以数据为核心的信用体系。
安全智能部主要通过对海量的用户行为和关系网络数据进行预测性分析和建模，通过大数据风控体系实现交易和账户风险的实时监控和预先识别。同时通过安全数据产品，实现在DT（Data Technology）时代下金融云平台中安全云服务，帮助商户、银行及其他第三方金融机构解决网络风险和欺诈问题。

您本人曾经在不同的企业担任数据科学家，能否介绍您在项目实施中曾使用过哪些大数据技术？您对这些技术满意的地方和不满意的地方分别有什么？

陈继东：我使用过多种主流的大数据技术，包括：MPP Database如Greenplum；Hadoop生态中的MapReduce，HBase，Hive；Kafka，Storm，Spark等。
使用这些技术的综合体会：
满意：大规模离线数据分析，准实时数据查询和分析，流数据处理的优势很明显。
不满意：
1）缺乏分布式系统架构和海量数据挖掘的融合系统；
2）缺乏海量图数据挖掘所需要的实时分布式图框架和系统。

大数据在您所在的行业落地目前主要遇到哪些困难？

陈继东：这也是我对上述技术存在不满意的原因，金融级的安全和风控系统对海量数据的实时处理能力要求极高：

• 需要高性能、高可靠性和高可用的大规模实时计算基础架构，例如毫秒级实时数据采集，传输，计算及分析等数据处理闭环；
• 需要灵活可配置，弹性可扩展的模型和规则平台，支持实时事件处理和变量计算，分布式规则引擎，在线和离线模型开发与部署；
• 需要海量分布式图框架来支持海量图数据上的实时查询和实时分析挖掘。

根据您的经验，企业容易犯哪些错误导致大数据项目失败？

陈继东：以下几个常见的认识误区，将会让大数据项目付出代价：

• 盲目追求数据的“大”，而忽略数据的质量，数据的时效性，不同数据的融合；
• 过分追求单一技术如Hadoop，期望能解决所有大数据处理的问题；
• 过分追求通过大数据重构原有系统，大而全的大数据体系和战略，不考虑如何从原有数据库架构到新的大数据架构迁移。

人才对大数据项目的成功实施也很重要，您在大数据团队的建设方面有什么经验可以分享？

陈继东：大数据人才应当需要分析能力与工程能力相结合、分析能力与业务能力相结合：通过应用驱动的大数据分析实践，来培养大数据人才，数据分析和挖掘需要具备很强的业务理解和商业能力，同时培养一定的工程实现能力。

您认为优秀的数据科学家需要哪些素质？如果有大学毕业生立志成长为数据科学家，您对他有什么建议？

陈继东：我理解的数据科学家是一类集业务和商业理解，数据分析与挖掘，分布式系统于一体的综合性人才。对于毕业生而言，从应用实践出发，从最简单最枯燥的数据清理和业务学习开始，逐步培养分析和挖掘能力，锻炼更敏锐的数据和业务感觉，才能使用数据的思想解决实际问题，创造出价值。