商业智能概读一

        商业智能的概念于1996年最早由加特纳集团（Gartner Group）提出，加特纳集团将商业智能定义为：商业智能描述了一系列的概念和方法，通过应用基于事实的支持系统来辅助商业决策的制定。商业智能技术提供使企业迅速分析数据的技术和方法，包括收集、管理和分析数据，将这些数据转化为有用的信息，然后分发到企业各处。

 

商业智能，又称商务智能，英文为Business Intelligence，简写为BI。

　　目前，学术界对商业智能的定义并不统一。商业智能通常被理解为将企业中现有的数据转化为知识，帮助企业做出明智的业务经营决策的工具。这里所谈的数据包括来自企业业务系统的订单、库存、交易账目、客户和供应商等来自企业所处行业和竞争对手的数据以及来自企业所处的其他外部环境中的各种数据。而商业智能能够辅助的业务经营决策，既可以是操作层的，也可以是战术层和战略层的决策。为了将数据转化为知识，需要利用数据仓库、联机分析处理（OLAP）工具和数据挖掘等技术。因此，从技术层面上讲，商业智能不是什么新技术，它只是数据仓库、OLAP和数据挖掘等技术的综合运用。

　　可以认为，商业智能是对商业信息的搜集、管理和分析过程，目的是使企业的各级决策者获得知识或洞察力（insight），促使他们做出对企业更有利的决策。商业智能一般由数据仓库、联机分析处理、数据挖掘、数据备份和恢复等部分组成。商业智能的实现涉及到软件、硬件、咨询服务及应用，其基本体系结构包括数据仓库、联机分析处理和数据挖掘三个部分。

　　因此，把商业智能看成是一种解决方案应该比较恰当。商业智能的关键是从许多来自不同的企业运作系统的数据中提取出有用的数据并进行清理，以保证数据的正确性，然后经过抽取（Extraction）、转换（Transformation）和装载（Load），即ETL过程，合并到一个企业级的数据仓库里，从而得到企业数据的一个全局视图，在此基础上利用合适的查询和分析工具、数据挖掘工具、OLAP工具等对其进行分析和处理（这时信息变为辅助决策的知识），最后将知识呈现给管理者，为管理者的决策过程提供支持。

　　提供商业智能解决方案的著名IT厂商包括微软、IBM、Oracle、Informatica、Microstrategy、Business Objects、Cognos、SAS、Royalsoft等。

定义

　　商业智能定义为下列软件工具的集合终端用户查询和报告工具。专门用来支持初级用户的原始数据访问，不包括适应于专业人士的成品报告生成工具。

　　OLAP工具。提供多维数据管理环境，其典型的应用是对商业问题的建模与商业数据分析。OLAP也被称为多维分析。

　　数据挖掘（Data Mining）软件。使用诸如神经网络、规则归纳等技术，用来发现数据之间的关系，做出基于数据的推断。

　　数据仓库（Data Warehouse）和数据集市（Data Mart）产品。包括数据转换、管理和存取等方面的预配置软件，通常还包括一些业务模型，如财务分析模型。

　　联机分析处理 (OLAP) 的概念最早是由关系数据库之父E.F.Codd于1993年提出的，他同时提出了关于OLAP的12条准则。OLAP的提出引起了很大的反响，OLAP作为一类产品同联机事务处理 (OLTP) 明显区分开来。

　　当今的数据处理大致可以分成两大类：联机事务处理OLTP（On-Line Transaction Processing）、联机分析处理OLAP（On-Line Analytical Processing）。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。

　　OLAP是使分析人员、管理人员或执行人员能够从多角度对信息进行快速、一致、交互地存取，从而获得对数据的更深入了解的一类软件技术。OLAP的目标是满足决策支持或者满足在多维环境下特定的查询和报表需求，它的技术核心是"维"这个概念。

　　“维”是人们观察客观世界的角度，是一种高层次的类型划分。“维”一般包含着层次关系，这种层次关系有时会相当复杂。通过把一个实体的多项重要的属性定义为多个维(dimension)，使用户能对不同维上的数据进行比较。因此OLAP也可以说是多维数据分析工具的集合。

　　OLAP的基本多维分析操作有钻取（roll up和drill down）、切片（slice）和切块（dice）、以及旋转（pivot）、drill across、drill through等。

　　钻取是改变维的层次，变换分析的粒度。它包括向上钻取（roll up）和向下钻取（drill down）。roll up是在某一维上将低层次的细节数据概括到高层次的汇总数据，或者减少维数；而drill down则相反，它从汇总数据深入到细节数据进行观察或增加新维。

　　切片和切块是在一部分维上选定值后，关心度量数据在剩余维上的分布。如果剩余的维只有两个，则是切片；如果有三个，则是切块。

　　

旋转是变换维的方向，即在表格中重新安排维的放置（例如行列互换）。

　　OLAP有多种实现方法，根据存储数据的方式不同可以分为ROLAP、MOLAP、HOLAP。

　　ROLAP表示基于关系数据库的OLAP实现（Relational OLAP）。以关系数据库为核心，以关系型结构进行多维数据的表示和存储。ROLAP将多维数据库的多维结构划分为两类表：一类是事实表，用来存储数据和维关键字；另一类是维表，即对每个维至少使用一个表来存放维的层次、成员类别等维的描述信息。维表和事实表通过主关键字和外关键字联系在一起,形成了“星型模式”。对于层次复杂的维，为避免冗余数据占用过大的存储空间，可以使用多个表来描述，这种星型模式的扩展称为“雪花模式”。

　　MOLAP表示基于多维数据组织的OLAP实现（Multidimensional OLAP）。以多维数据组织方式为核心，也就是说，MOLAP使用多维数组存储数据。多维数据在存储中将形成“立方块（Cube）”的结构，在MOLAP中对“立方块”的“旋转”、“切块”、“切片”是产生多维数据报表的主要技术。

　　HOLAP表示基于混合数据组织的OLAP实现（Hybrid OLAP）。如低层是关系型的，高层是多维矩阵型的。这种方式具有更好的灵活性。

　　还有其他的一些实现OLAP的方法，如提供一个专用的SQL Server，对某些存储模式（如星型、雪片型）提供对SQL查询的特殊支持。

　　OLAP工具是针对特定问题的联机数据访问与分析。它通过多维的方式对数据进行分析、查询和报表。维是人们观察数据的特定角度。例如，一个企业在考虑产品的销售情况时，通常从时间、地区和产品的不同角度来深入观察产品的销售情况。这里的时间、地区和产品就是维。而这些维的不同组合和所考察的度量指标构成的多维数组则是OLAP分析的基础，可形式化表示为（维1，维2，……，维n，度量指标），如（地区、时间、产品、销售额）。多维分析是指对以多维形式组织起来的数据采取切片（Slice）、切块（Dice）、钻取（Drill-down和Roll-up）、旋转（Pivot）等各种分析动作，以求剖析数据，使用户能从多个角度、多侧面地观察数据库中的数据，从而深入理解包含在数据中的信息。

　　主流的商业智能工具包括BO、COGNOS、BRIO。一些国内的软件工具平台如KCOM也集成了一些基本的商业智能工具。

　　根据综合性数据的组织方式的不同，目前常见的OLAP主要有基于多维数据库的MOLAP及基于关系数据库的ROLAP两种。MOLAP是以多维的方式组织和存储数据，ROLAP则利用现有的关系数据库技术来模拟多维数据。在数据仓库应用中，OLAP应用一般是数据仓库应用的前端工具，同时OLAP工具还可以同数据挖掘工具、统计分析工具配合使用，增强决策分析功能。

数据质量与商业智能

数据质量在商业智能中扮演的角色

　　对于增强数据资产准确度和价值而言，将数据质量规则与活动（探查、清洗和监测）和MDM流程相集成显得十分关键。在启动任何MDM项目之前，您都需要了解源数据的内容、质量和结构。在数据源进行的数据探查使数据管理员和数据仓库管理员能够在数据进入MDM系统之前，快速发现和分析跨所有数据源的所有数据异常。此流程可极大加快从MDM实施中获取价值。

　　由于数据清洗增强了数据的准确度，带来了数据完整性，并从源头增进了数据的可信度，因此数据清洗改善了MDM系统中的数据一致性。一旦源数据进入MDM系统，它将接受数据质量处理，其中包括验证、更正和标准化。MDM系统存储了在数据清洗前后的整个历史记录，从而开发人员不必再跟踪数据仓库中的数据沿袭。

　　最后，数据质量度量标准使数据仓库管理员能够更好地监控参考数据的质量，并确保可以长期持续使用高质量的数据。

　　因此，从技术角度看，实施MDM和Informatica Data Quality，作为数据仓库中主数据的确定来源，可以从提取、转换和加载（ETL）流程中简化数据集成。此方法可极大减低与数据仓库有关的整个开发和维护工作。通过建立数据质量度量标准和定义数据质量目标，数据仓库管理员和数据管理员能够更好地监控参考数据的质量，并确保随着时间的推移能够跨企业持续使用高质量的数据。MDM简化了对数据仓库维度更新的处理，因为用于确定更改内容的所有逻辑均封装在MDM系统中。

　　此外，MDM系统可以卸除大多数数据仓库的历史记录跟踪负担，使数据仓库仅管理它需要为进行聚合而应跟踪的变更。此系统可带来更小的数据仓库维度以及对负荷和查询性能的重大改进。运用MDM和Informatica Data Quality将最终降低数据集成的工作量，提高从商业智能和报表推导的洞察分析的质量，确保能够从为商业智能增效的数据仓库方案中获得预期的价值和投资回报。

数据质量水平与商业智能的关系

　　当无法通过商业智能系统和报告系统提供准确的数据时，业务总体上都会受到影响。以下是为创建报表的商业智能系统提供不可靠数据所造成的一些后果：

　　业务负责人：不准确的管理报告导致决策不够明智。

　　合规主管：合规性法案要求公司能为其财务和合规报表提供一定的透明度和可审计性。

　　业务分析师：如果业务分析师花费过多时间在多个商业智能系统间手动搜索和整理信息以更新和修正报表，则业务分析师的生产率会受到影响。此低效的工作会直接影响成本和营利能力。

　　这些业务问题的根源在于没有关于客户、产品、渠道合作伙伴和供应商的唯一真实版本。由于在处理每个业务流程的不同系统间收集、存储和管理这些数据（亦称之为参考数据或主数据），因此，需要正确地解析重叠和冲突的参考数据，以获得唯一真实版本，从而带来宝贵而可操作的洞察力。许多组织拥有数十或数百数据库，并且在这些数据库中有维护相同核心参考对象的数十个（有时为数百个）不同的应用程序，而这些核心参考对象还具有重叠的属性。

　　商业智能系统的用途是以中立的视角报告取自多个系统的现有数据。商业智能系统可以为维度分析进行一些累积工作，但是设计或配备商业智能系统并非为了创建唯一的真实版本。在取自应用程序孤岛的客户或产品数据中存在的不一致会对数据仓库中运行的分析可靠性产生消极的影响。

　　总而言之，企业的商业智能只会与企业的数据质量水平相当。

数据质量与五种形式的商业智能

　　商业智能已经发展成为多种形式，旨在满足企业不断增长的要求和任务关键型活动日益增长的水平。这些形式都有其自己的一套数据质量要求。

　　记分卡和仪表板

　　记分卡和仪表板正被广泛采用，越来越多的用户利用它们获取财务，业务和绩效监控的鸟瞰图。通过可视化的图形、图标和计量表，这些传输机制帮助跟踪性能指标并向员工通知相关趋势和可能需要的决策。提供集成视图所需的数据元素通常跨越多个部门和学科，需要绝对最新才能有效。

　　数据质量会影响记分卡和仪表板用户，因此这些用户必须能够：

　　1． 使用仪表板中计量表和刻度盘上的完整数据，并迅速采取措施

　　2． 获取集成视图并使用标准化数据进行协作

　　3． 利用具有一致数据的正式记分卡方法

　　4． 向下钻取以查看组或个人级别绩效的准确数据

　　5． 找到能够生成明显趋势且重复数据最少的业务流程

　　6． 推导关联性并通过验证的数据执行交叉影响分析

　　企业报告

　　企业报告为所有级别的个人提供来自企业资源规划（ERP）、客户关系管理（CRM）、合作伙伴关系管理（PRM）、发票和帐单系统，以及整个企业内其他源系统的各种运营报告和其他业务报告。这些报告分布广泛，而薪酬和其他激励计划通常与报告的结果有关。

　　数据质量会影响组织报告，因为组织必须：

　　1． 浏览多个报告，将它们显示到从不同来源聚合数据的多个表单中

　　2． 选择各种参数并通过标准化数据为用户定制报告

　　3． 利用各种性能指标的协调数据呈现多个表格和图表

　　4． 使业务用户能够利用高精准数据创建自己的报告，无需IT部门参与

　　5. 通过清洗和匹配的数据减少合规性管理的人工检查和审计

　　6． 利用完整财务数据直接从商业智能报告开具发票和帐单

　　OLAP分析

　　OLAP使用户能够即时以交互方式对相关数据子集进行“切片和切块”。同时，OLAP功能，比如向上钻取、向下钻取、或任意挖掘（跨业务维度）、透视、排序、筛选、以及翻阅，可用于提供关于绩效的基本详细信息。最为重要的是它能够回答存在的任何业务问题。这意味着调查深入到单个或多个数据仓库中可用的最原子级别的详细信息。

　　数据质量会影响OLAP分析，因为用户和组织需要：

　　1． 通过对目标数据的完全访问在所有维度中任意钻取以进行深入调查

　　2． 通过设置好格式的一致数据将OLAP轻松应用于任何维度子集

　　3． 利用一致的基本数据对象最大限地减少冲突报告，确保交互性

　　4． 利用多个维度的正确数据执行用户驱动的适时分析

　　5． 提供更新的同步数据来处理事务级数据分析

　　高级/预测分析

　　高级和预测分析使富有经验的用户能够充分调查和发现特定业务绩效背后的详细信息并使用该信息预测远期效果。此方法可能涉及高级统计分析和数据挖掘功能。为了推动积极决策和改进对潜在商业威胁的姿态，预测分析可能包括假设测试，客户流失预测，供应和需求预测，以及客户评分。预测建模可用于预测各种业务活动及相关效果。

　　数据质量会影响高级和预测分析，因为用户会寻求：

　　1． 为可定制报告创建跨越任何数据元素的报告过滤标准

　　2． 为标准化数据格式搜索模式和预测洞察力以促进积极决策

　　3． 通过一致数据获得信心，找出相互依存的趋势和预期成果

　　4． 对准确数据采用多变量复原和其他技术，以实现更好的预测

　　5． 在无数据重复的前提下定制数据分组，最大限度减少冲突

　　6． 使用经认证的数据检验假设并使用统计、财务和数字函数

　　通知和警报

　　使用电子邮件、浏览器、网络服务器和打印机、PDA或门户网站时，通过通知和警报在广泛的用户触点间主动共享信息。通过及时交付目标信息，关键相关人士和决策者可以识别潜在的机会领域并发现要采取措施的问题领域。这种“一线”BI传输机制使组织能够保持协调一致，与业务风险和机会并进，同时事件仍将保持新鲜和有意义以保证响应。

　　在此领域，数据质量会影响组织，因为组织会努力：

　　1． 从任何和所有数据源向最广泛的用户接触点发布警报

　　2． 确保标准化及非冲突数据集上各种订阅类型的高吞吐量

　　3． 使用户能够打开附件或点击链接，同时呈现一致、集成的数据

　　4． 通过预先评定并核准的数据质量来降低发布错误警报和通知的风险

　　5． 允许在多个事件数据符合特定阙值时实时触发警报

　　6． 利用经验证的数据进行内容个性化和组关联

功能综述

　　目前，很多厂商活跃在商业智能（下面称BI）领域。事实上，能够满足用户需要的BI产品和方案必须建立在稳定、整合的平台之上，该平台需要提供用户管理、安全性控制、连接数据源以及访问、分析和共享信息的功能。BI平台的标准化也非常重要，因为这关系到与企业多种应用系统的兼容问题，解决不了兼容问题，BI系统就不能发挥出应有效果。这里我们通过对一个实验室的BI系统模型（我们将其称为D系统）进行功能解剖，来介绍BI系统。D系统是一个面向终端使用者，直接访问业务数据，能够使管理者从各个角度出发分析利用商业数据，及时地掌握组织的运营现状，作出科学的经营决策的系统。D系统可实现从简单的标准报表浏览到高级的数据分析，满足组织内部人员的需求。D系统涵盖了常规意义上商业智能（BI）系统的功能，主要构架包括以下几个方面。

读取数据

　　D系统可读取多种格式（如Excel、Access、以Tab分割的txt和固定长的txt等）的文件，同时可读取关系型数据库 (对应ODBC)中的数据。在读取文本和数据的基础上，D系统还可以完成：

　　连接文本 把2个CSV文件中的共同项目作为键（Key），将所需的数据合并到一个文件，这样可以象操作数据库一样方便，但无须用户编程即可实现。

　　设置项目类型 作为数据的项目类型，除按钮(button)（文字项目）、数值项目以外，还可以设置日期表示形式的日期数据项目、多媒体项目和不需要生成按钮但在列表显示中能够浏览的参照项目。

　　期间设置 日期项目数据可以根据年度或季度等组合后生成新的期间项目。同样，时间项目数据可以根据上午、下午或时间带等组合后生成新的时间项目。

　　设置等级 对于数值项目，可以任意设置等级，生成与之相对应的按钮。例如，可以生成与年龄项目中的20岁年龄段、30岁年龄段的等级相对应的按钮。

分析功能

　　关联/限定 关联分析主要用于发现不同事件之间的关联性，即一个事件发生的同时，另一个事件也经常发生。关联分析的重点在于快速发现那些有实用价值的关联发生的事件。其主要依据是，事件发生的概率和条件概率应该符合一定的统计意义。D系统把这种关联的分析设计

成按钮的形式，通过选择有/无关联，同时/相反的关联。对于结构化的数据，以客户的购买习惯数据为例，利用D系统的关联分析，可以发现客户的关联购买需要。例如，一个开设储蓄账户的客户很可能同时进行债券交易和股票交易。利用这种知识可以采取积极的营销策略，扩展客户购买的产品范围，吸引更多的客户。

　　显示数值比例/指示显示顺序 D系统可使数值项目的数据之间的比例关系通过按钮的大小来呈现，并显示其构成比，还可以改变数值项目数据的排列顺序等。选择按钮后，动态显示不断发生变化。这样能够获得直观的数据比较效果，并能够凸显差异，便于深入分析现象背后的本质。

　　监视功能 预先设置条件，使符合条件的按钮显示报警（红）、注意（黄）信号，使问题所在一目了然。比如说：上季度营业额少于100万元的店警告（黄色标出），少于50万元的报警（红色标出）。执行后，D系统就把以店名命名的按钮用相应的颜色表示出来。

　　按钮增值功能 可将多个按钮组合，形成新的按钮。比如：把[4月]、[5月]、[6月]三个按钮组合后得到新的按钮[第2季度]。

　　记录选择功能 从大量数据中选择按钮，取出必要的数据。挑出来的数据可重新构成同样的操作环境。这样用户可以把精力集中在所关心的数据上。

　　多媒体情报表示功能 由数码相机拍摄的照片或影像文件、通过扫描仪输入的图形等多媒体文件、文字处理或者电子表格软件做成的报告书、HTML等标准形式保存的文件等，可以通过按钮进行查找。

　　分割按钮功能 在分割特定按钮类的情况下，只需切换被分割的个别按钮，便可连接不断实行已登录过的定型处理。

　　程序调用功能 把通过按钮查找抽取出的数据，传给其他的软件或用户原有的程序，并执行这些程序。

　　查找按钮名称功能 通过按钮名查找按钮，可以指定精确和模糊两种查找方法。另外，其他的按钮类也可以对查找结果相关的数据进行限定。

丰富画面

　　列表画面 可以用and/or改变查找条件，可以进行统计/排序。统计对象只针对数值项目，统计方法分三种：合计、件数、平均，而且可以按照12种方式改变数值的显示格式。

　　视图画面 提供切换视角和变换视图功能，通过变换与设置条件相应的数值（单元格）的颜色表示强调。依次变换视角可进行多方面的数据分析。视图的统计对象只针对数值项目，统计方法有合计、平均、构成比（纵向、横向）、累计(纵向、横向)、加权平均、最大、最小、最新和绝对值等12种。

　　数值项目切换 通过按钮类的阶层化（行和列最多可分别设置8层），由整体到局部，一边分层向下挖掘，一边分析数据，可以更加明确探讨问题所在。

　　图表画面 D系统使用自己开发的图形库，提供柱形图、折线图、饼图、面积图、柱形+折线五大类35种。在图表画面上，也可以像在阶层视图一样，自由地对层次进行挖掘和返回等操作。

数据输出

　　打印统计列表和图表画面等，可将统计分析好的数据输出给其他的应用程序使用，或者以HTML格式保存。

定型处理

　　所需要的输出被显示出来时，进行定型登录，可以自动生成定型处理按钮。以后，只需按此按钮，即使很复杂的操作，也都可以将所要的列表、视图和图表显示出来。