选型宝访谈：移动+社交时代，如何治理“大数据洪水”？

写在前面

不管你是否愿意，随着移动互联网和社交工具的普及，一个充满了机遇和挑战的大数据时代悄然来临了。就在大家纷纷谈论数据驱动创新、数据创造价值的时候，仍有许多企业的CIO/CDO在这个新时代面前感到茫然和困惑：

我的企业的数据在哪里？它有什么价值？

数据治理，应该建立怎样的完整框架？

在完整的框架下，应该用怎样的工具武装自己 ？

移动+社交时代，海量非结构化、半机构化数据涌来，如何应对？

智能数据湖是怎么回事儿？它和数据仓库是什么关系？

……

为了找到这些问题的答案，我们特意采访了全球领先的数据管理专家Informatica的中国北方区总经理李晨先生。下面就让我们一起听听李晨先生与选型宝创始人兼CEO殷勇的精彩对话吧。

殷勇

提到大数据，我们首先会遇到一些概念，比如说大数据、数据仓库、数据湖等，请李总先为我们梳理一下这些概念，说说它们的发展渊源吧。

李晨

这三个概念里，最先兴起的是“数据仓库”，这个技术已经有20多年的历史了。从上个世纪九十年×××始，随着IT系统的逐渐增多，数据之间的交互也随之增多，这时客户会发现，只拿到一个系统的数据是完全不够的，他需要去汇总很多系统的数据，在这个时候，数据仓库就应运而生了。顾名思义，数据仓库就是把数据放在一个地方进行集中管控，就像一个仓库一样。数据仓库主要针对结构化数据进行存储和应用，比如一些OLTP（联机事务处理过程）系统产生的数据。数据仓库将这些数据汇总到一起，为管理经营者在业务分析、决策支持等方面提供支撑。

随着业务的逐渐增多和技术的不断发展，出现了互联网、移动互联网、自媒体以及很多社交工具，还有工业自动化以及物联网等，随之而来的，是海量的、爆炸式增长的数据。这个时候，传统的数据仓库对数据格式的支持、对数据种类的支持、以及对数据量的支持就已经力不从心了，因而需要一些新的技术来承载这些数据，这个时候，大数据技术就应运而生了。

大数据平台的这个“大”体现在两个层面，一个层面是数据量大，它的数据量可以是传统数据仓库的几十倍、几百倍甚至上万倍；另一个层面是数据繁杂，会有很多非结构化数据、半结构化数据，以及很多传感器的信息，这些信息是我们传统的结构化数据平台不能支撑的。

大数据平台在经过了近十年的发展之后，现在已经逐步趋于成熟，随之而来的，是一个新的问题：我们很难再像以前一样，在这样海量的数据里面清晰、快速、准确地找到我们所需要的数据了。就像我在水盆里去找一粒沙子和我在大海里面去找一粒沙子，这个难度和所要花费的时间是不可同日而语的，这个时候应运而生的，就是我们的数据湖的概念。

数据湖更关注的理念,在于快速、精准、高效，尤其是自服务。一般来讲，在传统的IT建设的过程中，我们建立数据仓库、建立BI（商业智能）系统，进行数据挖掘分析、报表展现等，这些往往是由业务需求驱动的，而我们的业务人员对这些复杂的IT系统的了解一定是不够深入的，需要IT部门来帮忙处理。他们会把这些业务需求转给IT部门，由IT部门的同事把这些业务需求转换成技术方案来实现。但是，在大数据时代，数据量很大，数据的变化也很快，提出需求的频率可能也是以前的很