数据仓库,olap与数据挖掘之间的关系

原创 2004年07月02日 00:16:00
      要说明他们的关系,不得不说说商务智能。从技术角度看,商务智能的过程是企业的决策人员以企业中的数据仓库为基础,经由联机分析处理工具、数据挖掘工具加上决策规划人员的专业知识,从数据中获得有用的信息和知识,帮助企业获取利润。
      数据仓库是一个用以更好地支持企业或组织的决策分析处理的的数据集合,它有面向主题、集成、相对稳定、随时间不断变化四个特性,将数据仓库与传统的面向事务处理的数据库区分开来。数据仓库的关键技术包括数据的抽取、清洗、转换、加载和维护技术。
    联机分析处理(OLAP)是以海量数据为基础的复杂分析技术。 它支持各级管理决策人员从不同的角度、快速灵活地对数据仓库中的数据进行复杂查询和多维分析处理,并且能以直观易懂的形式将查询和分析结果展现给决策人员。OLAP使用的逻辑数据模型为多维数据模型。常用的OLAP多维分析操作有上卷、下钻、切片、切块、旋转等。多维数据模型在物理实现时,主要有三种方式:ROLAP结构、MOLAP结构和HOLAP结构。其中ROLAP是基于关系数据库的OLAP实现, MOLAP是基于多维数据组织的OLAP实现,HOLAP是基于混合数据组织的OLAP实现。
  数据挖掘(Data Mining)是从海量数据中,提取隐含在其中的、人们事先不知道的但又可能有用的信息和知识的过程。数据挖掘的数据有多种来源,包括数据仓库、数据库或其他数据源。所有的数据都需要再次进行选择,具体的选择方式与任务相关。挖掘的结果需要进行评价才能最终成为有用的信息,按照评价结果的不同,数据可能需要反馈到不同的阶段,重新进行分析计算。数据挖掘的常用方法包括关联分析、分类和预测、聚类、检测离群点、趋势和演变分析等。可以说:联机分析处理和数据挖掘是数据仓库之上的增值技术。
    在理论研究上,OLAP技术的研究人员主要来自数据库界,重点研究CUBE压缩与计算、实体化视图的选择与维护、多维数据的索引和多维查询处理等技术,以便能够在海量数据上提供秒级的分析请求响应时间。数据挖掘技术的研究人员来自人工智能、统计、数据库界,其研究主要集中在各种挖掘算法和评价方法上,研究可伸缩的数据挖掘方法、基于约束的挖掘方法、复杂数据类型的挖掘等。
    联机分析处理和数据挖掘虽然是数据仓库上获取两种不同目标的数据增值技术,但这两类技术如果能够在一定程度上融合,会使分析操作智能化,使挖掘操作目标化,从而全面提升商务智能技术的实用价值。即:一方面,联机分析技术可以为数据挖掘提供预期的挖掘对象和目标,避免挖掘的盲目性。另一方面,数据挖掘技术可以使联机分析处理智能化,减少分析人员手工操作的繁杂性,减轻分析人员的负担。例如,当分析人员在手工分析操作中发现离群点数据,可以有针对性地直接对此数据利用数据挖掘技术寻找原因,从中找出恶意违规或发现新的需求点。又如,在数据分析过程中,通过跟踪分析人员的操作过程,利用数据挖掘技术预测他可能感兴趣的操作和数据,提前预计算或预取数据,从而提高分析操作的响应时间。
    因此可以说,基于数据仓库的联机分析处理技术与数据挖掘技术的融合和互补,将是商务智能技术发展的未来走向。
    
    关于商务智能的技术和应用的详细情况,参见:中国人民大学信息学院 陈红老师发表在赛迪网上的文章
    商务智能:从数据中挖取利润

数据仓库与数据挖掘的OLAP技术----韩家炜教授的《数据挖掘概念与技术》学习笔记

数据仓库与数据挖掘的OLAP技术 1.数据仓库 Ø 概念:数据仓库是一个面向主题的、集成的、随时间而变化的、不容易丢失的数据集合,支持管理部门的决策过程. Ø 关键特征: v 面向主题:围绕一...
  • programmer_at
  • programmer_at
  • 2015年08月05日 12:40
  • 2406

笔试记录——OLAP是什么,数据仓库的四层结构,数据挖掘的流程

留坑
  • YMD8005
  • YMD8005
  • 2017年07月04日 11:40
  • 121

数据仓库,OLAP与数据挖掘之间的关系

要说明他们的关系,不得不说说商务智能。从技术角度看,商务智能的过程是企业的决策人员以企业中的数据仓库为基础,经由联机分析处理工具、数据挖掘工具加上决策规划人员的专业知识,从数据中获得有用的信息和知识...
  • weeveHydra
  • weeveHydra
  • 2005年02月16日 22:02
  • 680

数据仓库与数据挖掘的个人总结

来公司的第一天收到要熟悉数据仓库与数据挖掘的任务,任务内容如下:          1.阅读有关数据仓库、数据挖掘、OLAP在线联机分析的相关文档,掌握和了解相关基础知识和概念          2....
  • qq_19381271
  • qq_19381271
  • 2015年08月12日 14:46
  • 3646

云计算,大数据,数据库,数据仓库之间是什么关系

有网友问云计算,大数据,数据库,数据仓库之间是什么关系,在这里我就我的理解简单解释一下: 首先简单的看一下云计算与大数据的概念. 1)云计算:云计算本质上是一种计算资源集中分布和充分共享的...
  • havedream_one
  • havedream_one
  • 2014年07月05日 15:43
  • 3719

关于数据仓库和OLAP的问题!

原创于2006年11月02日,2009年10月15日迁移至此。 关于这两个概念,可能很多人都会有一些疑惑,主要想就这个问题表达一下个人的看法,并希望和大家一起进行讨论!什么是OLTP?联机事务处理系统...
  • baoqiangwang
  • baoqiangwang
  • 2009年10月15日 09:07
  • 4485

数据仓库和OLAP技术概述

http://blog.csdn.net/u011239443/article/details/52623602 《An Overview of Data Warehousing and OLAP ...
  • u011239443
  • u011239443
  • 2016年09月23日 13:16
  • 4159

数据仓库与数据挖掘的一些基本概念

以下内容摘自互联网并作了整理。  名词: BI(Business Intelligence):商业智能,  DW(Data Warehouse):数据仓库,详见正文Q1部分。  OLTP(On-Lin...
  • jack0511
  • jack0511
  • 2009年02月05日 09:30
  • 20324

数据仓库数据挖掘——基本概念

1、从数据库到数据仓库 蜘蛛网问题 事务型系统和分析型系统的分离 数据分析的结果缺乏可靠性 抽取数据的内容不同 抽取数据的时间不同 引用外部信息的不同 分析程序的差异 数据处理的效率很...
  • Sun7_She
  • Sun7_She
  • 2014年10月20日 09:11
  • 883

数据仓库(十):OLAP技术

1 几种OLAP OLAP服务器通常采用多维模型(Inmon认为多维模型应当用在数据集市上,而数据仓库应采用关系模型;Kimball认为可以直接采用多维模型建立维度数据仓库。二人均认可多维模型,只是...
  • kingzone_2008
  • kingzone_2008
  • 2013年06月03日 13:06
  • 3384
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:数据仓库,olap与数据挖掘之间的关系
举报原因:
原因补充:

(最多只允许输入30个字)