oltp olap 数据仓库 数据挖掘 商务智能概念

OLTP: OLTP(on-line transaction processing),又称联机事务处理，是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如一般的信息管理系统数据库。 OLAP: OLAP（On-Line Analysis Processing），又称联机分析处理，是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。 OLAP的目标是满足决策支持或多维环境特定的查询和报表需求，它的技术核心是“维”这个概念，因此OLAP也可以说是多维数据分析工具的集合。 OLAP的用户是企业中的专业分析人员及管理决策人员，他们在分析业务经营的数据时，从不同的角度来审视业务的衡量指标是一种很自然的思考模式。 OLAP的主要特点，是直接仿照用户的多角度思考模式，预先为用户组建多维的数据模型，在这里，维指的是用户的分析角度。 数据仓库： 数据仓库(Data Warehouse)是支持管理决策过程的、面向主题的、集成的、随时间变化的持久的数据集合。构建数据仓库的过程就是根据预先设计好的逻辑模式从分布在企业内部各处的OLTP数据库中提取数据并对经过必要的变换最终形成全企业统一模式数据的过程。 当前数据仓库的核心仍是RDBMS管理下的一个数据库系统。数据仓库中数据量巨大，为了提高性能，RDBMS一般也采取一些提高效率的措施：采用并行处理结构、新的数据组织、查询策略、索引技术等等。 数据挖掘： 数据挖掘(Data Mining)，就是从大量数据中获取有效的、新颖的、潜在有用的、最终可理解的模式的非平凡过程。数据挖掘的广义观点：数据挖掘就是从存放在数据库，数据仓库或其他信息库中的大量的数据中“挖掘”有趣知识的过程。数据挖掘，又称为数据库中知识发现(Knowledge Discovery in Database, KDD)， 也有人把数据挖掘视为数据库中知识发现过程的一个基本步骤。知识发现过程以下步骤组成：（1）数据清理，（2）数据集成，（3）数据选择，（4）数据变换，（5）数据挖掘，（6）模式评估，（7）知识表示。数据挖掘可以与用户或知识库交互。 商务智能： 商务智能（Business Intelligence）又称商业智能，简写为BI。商业智能通常被理解为将企业中现有的数据转化为知识，帮助企业做出明智的业务经营决策的工具。从技术层面上讲，商业智能不是什么新技术，它只是数据仓库、OLAP和数据挖掘等技术的综合运用。 商业智能描述了一系列的概念和方法，通过应用基于事实的支持系统来辅助商业决策的制定。商业智能技术提供使企业迅速分析数据的技术和方法，包括收集、管理和分析数据，将这些数据转化为有用的信息，然后分发到企业各处。 商业智能的关键是从许多来自不同的企业运作系统的数据中提取出有用的数据并进行清理，以保证数据的正确性，然后经过抽取（Extraction）、转换（Transformation）和装载（Load），即ETL过程，合并到一个企业级的数据仓库里，从而得到企业数据的一个全局视图，在此基础上利用合适的查询和分析工具、数据挖掘工具、OLAP工具等对其进行分析和处理（这时信息变为辅助决策的知识），最后将知识呈现给管理者，为管理者的决策过程提供支持。

 

 

 

终于对 DW、OLAP、DM、DSS 的关系了有了比较清楚的认识

DW： Data Warehouse 数据仓库

OLAP： On-Line Analytical Processing 联机分析处理

DM： Data Mining 数据挖掘

DSS： Decision Support Systems 决策支持系统





技术的进步，不懈的努力使人们终于找到了基于数据库技术的DSS的解决方案，这就是：DW + OLAP + DM ————> DSS 的可行方案。数据仓库、OLAP和数据挖掘是作为三种独立的信息处理技术出现的。数据仓库用于数据的存储和组织，OLAP集中于数据的分析，数据挖掘则致力于知识的自动发现。它们都可以分别应用到信息系统的设计和实现中，以提高相应部分的处理能力。但是，由于这三种技术内在的联系性和互补性，将它们结合起来即是一种新的 DSS 架构。这一架构以数据库中的大量数据为基础，其特点是：


（1）在底层的数据库中保存了大量的事务级细节数据。这些数据是整个 DSS 系统的数据来源。


（2）数据仓据对底层数据库中的事务级数据进行集成、转换、综合，重新组织成面向全局的数据视图，为 DSS 提供数据存储和组织的基础。


（3）OLAP从数据仓库中的集成数据出发，构建面向分析的多维数据模型，再使用多维分析方法从多个不同的视角对多维数据进行分析、比较、分析活动从以前的方法驱动转向了数据驱动，分析方法和数据结构实现的分离。


（4）数据挖掘以数据仓库和多维数据库中的大量数据为基础，自动地发现数据中的潜在模式，并以这些模式为基础自动地做出预测。数据挖掘表明知识就隐藏在日常积累下来的大量数据之中，仅靠复杂的算法和推理并不能发现知识，数据才是知识的真正源泉。数据挖掘为AI技术指出了一条新的发展道路。