银行的大数据应用

这是系列文章之一。本系列梳理了国内外银行信息化历程，包含区块链、云计算、物联网、移动端、人工智能各方面的应用情况。

一、大数据发展简介

“大数据”一词据称最早于 1980 年出现在美国著名未来学家阿尔文·托夫勒所著的《第三次浪潮》一书中，他在书中将“大数据”称为“第三次浪潮的华彩乐章”。在笔者看来，大数据的应用效果主要取决于两部分，一是大数据的技术部分，二是对数据质量和价值有重要影响的数据治理部分，二者应当并重。

（一）大数据的技术部分

被广泛认可的“大数据”概念最初是由著名咨询公司 Gartner 的高级分析师道格拉斯·兰尼 (Douglas Laney) 提出的。2001 年，兰尼在一篇名为《3D 数据管理控制数据量、速度和多样性》指出，大数据管理面临三大挑战: 容量、多样性和速度（Volume 、Variety、Velocity ，3V），后来成为大数据的三大基本特征。

现今常说的大数据技术，起源于 Google 的三篇重量级论文：2003 年 10 月发表的《Google 文件系统》、2004 年 12 月发表的《MapReduce：超大集群的简单数据处理》和 2006 年 11 月发表的《BigTable：结构化数据的分布式存储系统》。这三篇文章论述了大数据技术的三架“三驾马车”：分布式文件系统 GFS、大数据分布式计算框架 MapReduce 和 NoSQL 数据库系统 BigTable。

2006 年，天才程序员 Doug Cutting 启动了一个独立的项目专门开发维护大数据技术，诞生了大数据技术的经典框架——Hadoop，主要包括 Hadoop 分布式文件系统 HDFS 和大数据计算引擎 MapReduce。2008 年，Hadoop 正式成为 Apache 的顶级项目，Doug Cutting 本人后来也成为了 Apache 基金会的主席。

2008 年 9 月《自然》杂志在推出了名为“大数据”的封面专栏，通过《The Next Google》,《Welcome to petacentre》,《Disilling meaning from data》等一系列文章, 更全面的介绍了大数据。到 2009 年，大数据技术已经基本成熟，转入大规模应用阶段。实时计算方面，Spark（2009）、Storm(2010)、Flink（2015）等主流技术也先后形成。

2012 年，颇具影响力的《大数据时代》一书出版；同年，瑞士达沃斯世界经济论坛上发布了题为《大数据，大影响》的报告；同年，美国颁布了《大数据的研究和发展计划》；同年 7 月，联合国在纽约发布了题为《大数据促发展，挑战与机遇》的大数据政务白皮书。

2014 年，“大数据”首次写入我国《政府工作报告》；2015 年，国务正式印发《促进大数据发展行动纲要》；同年 5 月，首