BI商业智能之我见

这几年在中国流行的BI (Business Intelligence) ，光听名号很响亮，创造这个名字的人，我觉得应该好好嘉奖一番：－）有个响亮及有深度的名号，对于后续的发展已经先声夺人，也为不少IT企业获得风险投资的青睐，就像上个世纪90年代的Dot Net，这两年的AJAX应用一样。

其实BI不是一个新事物，它在西方发达国家已经经历了几十年的发展了，其中的发展基础，很多来自于AI (Artificial Intelligence)，说AI是更高深的东西就对了，光是人工智能这个名词就能晕倒一片人。AI实际上更多的是科学研究领域的东西，而BI借助AI的技术和发展，将信息系统智能化推广到应用领域，进行产业化投入，迅速创造了看得见摸得着的价值。

概括地说，BI是将数据转换为有价值的知识，并将知识应用到商业行为上的一个过程。BI在这个过程中采取相适宜的工具，帮助相关角色对职责范围内的有关内容做出最佳决策的整体解决方案。商业只能技术并不是一个单一的技术，而是涵盖了数据仓库，OLAP(联机分析处理)，数据挖掘，报表展现等技术的综合应用。

从源头来说，建立BI系统必须要先有数据。实施信息化管理的组织必然已经拥有大量的业务系统来支持组织的日常运作，但这些业务系统中的数据是分散的，增量的，面向交易的，在使用价值上并不适合或不可能作为管理系统用来进行多维分析的数据。这时候需要通过一个ETL过程，即数据的提取（Extract），转换(Transform)，加载(Load)的过程，将来自于业务系统（数据源）的数据，通过即定义的清洗、转换、去重、标准化、简单汇总等操作，将数据汇集到数据仓库当中。如果组织的规模更大一些，有可能需要通过ETL过程将源数据供给不同的数据仓库系统或者目标管理系统，这时候还需要建立ODS（Operational Data Storage）系统，来满足这种多源到多目标的需求。

数据仓库中在有了来自于各个业务系统的数据，我们已经可以很开心地说“我们的数据集中了！”。如果组织规模大，有了数据仓库以后可能又面临着数据量过大，数据的主题没有划分，不易进行统计分析的问题。本来“仓库”的含义就是将各种类型的货物堆积起来，强调的“存储”的功能，而非“使用”，因此可以将数据仓库看成一种面向数据管理的服务，而不是面向最终分析用户的。

这时有另外一个概念叫做数据集市(Data Mart)，集市知道吗？小贩在路上摆摊卖东西，你见过有人把水果和衣服放在一起卖的吗？数据集市是以数据仓库的数据为基础，面向主题的，面向最终用户的一类或多类相关的数据的集合。仓库的数据到集市，往往不是原封不动的拷贝，而是进行了进一步的汇总和清理，因此在粒度、聚合度和数据质量上比上数据仓库更高一些。数据仓库可谓是保罗万象、应有尽有，数据集市是各取所需。当然，数据仓库和数据集市的关系不一定是清晰的，物理上不一定是分离的，如果组织规模不大，在数据仓库中建立面向主题的视图，同样也能做到集市化的功能。

有了仓库和店面，就可以开门营业了。数据的分析技术上，分为传统的OLAP技术和看似高深莫测的数据挖掘技术。

OLAP技术是以海量数据为基础的，通过不同角度、不同维度，基于假设的复杂的分析处理方法，目的是为了支持决策分析。传统的分析报表仅仅告诉你数据库中有什么（What happened），OLAP分析还告诉你接下来会怎样(What next)，如果采取了某项措施（What if），结果又会是怎样。OLAP分析师可以通过自己的经验，建立一些假设条件，通过OLAP来验证或者推到自己的假设，从而获得决策所需的知识。OLAP分析过程是一个归纳和演绎的过程， 通过OLAP技术展现在用户面前的是一幅幅多维的视图，这些视图的要素包含：多维（观测的不同角度），多层次（细节的多寡），维的取值（给一个维度具体的数据，例如给时间维 2008 年 11 月 7 日 ），度量（多维的取值，例如2008年华东大区的笔记本销售）；在基本的操作方法上又有：钻取（Drill up and down，即改变维的层次和粒度），切片和切块（SLICE,即在一部分维上确定取值，观察其它维的情况），旋转(Pivot,即改变维的方向，行列互换之类的)。OLAP分析对分析人员的能力要求比较高，更多地强调通过互动的方式进行分析。

数据挖掘（Data Mining）是在大量的企业数据中，寻找事先未知的，并且有价值的知识的过程。有种说法是挖掘处理的信息越是出乎意料，就越有可能是原先考虑问题的盲点，挖掘出来的信息就越有价值：－）于OLAP分析技术不同的时，数据挖掘不是用于验证某个假定模型的正确性或非正确性，而是在数据源中寻找各种可能的模型。在数据源上，可能不仅仅来自于数据仓库，而是包括业务数据库或者其它相关的数据库。数据挖掘是传统分析方法的一个扩展和延伸，是一种自动化程度更高的分析技术。数据挖掘需要耗费大量的计算机资源进行运算，随着近年来CPU并行处理能力的提高和硬件价格的不断降低，进行数据挖掘的成本也大大降低了。

联机分析技术和数据挖掘技术，两者有合作和互补的关系，联机分析技术可为挖掘前期提供对象和目标，避免盲目性。而数据挖掘技术为联机分析提高智能化，减少分析人员的手工操作。这两者的融合和互补，也是未来BI发展的走向。

 

 

苏屿峰于厦门