数据仓库与数据挖掘 学习笔记 第一章 绪论

第一章 绪论

引言:

• 数据采集能力和手段增强
• 存储设备技术发展
• 海量数据库技术
• 面临的问题
• 新认识

1.数据仓库

数据仓库是以关系数据库,并行处理和分布式技术为基础的信息新技术.

数据仓库是一个面向主题的,集成的,时变的,非易失的数据集合,用于支持股那里决策.

• 面向主题: 数仓关注经常在的数据建模分析而不是组织机构的日常操作和数据处理.
• 集成的: 数仓通常是多个异种数据构成的.在数据整合过程中使用数据清洗和集成技术,确保命名约定,编码,属性一致.
• 时变的:数仓中隐式或显示的包含了时间元素.
• 非易失的:///

数据仓库和数据库的对比:

数据库	数据仓库
面向应用	面向主题
数据是详细的	数据是综合或提炼的
数据是可更新的	数据是不可更新的
对数据操作是重复的	对数据的操作是启发式的
操作需求是事先可知的	操作需求不可知
一个操作存储一个记录	一个操作存储一个集合
数据非冗余	数据时常是冗余的
操作较频繁	操作相对不频繁
查询的是原始数据	查询的经过加工的数据
事物处理需要的是当前数据	决策分析需要过去，现在的数据
很少有复杂的运算	很多复杂的计算
支持事务处理	支持决策分析。

数据库的数据字典

数据字典是数据库各类数据描述的集合，通常包括如下：

• 数据项
• 数据结构
• 数据流
• 数据存储
• 处理过程

数据仓库的元数据：

元数据秒速了数据仓库的数据和环境，记录了数据仓库有什么，信息的内容和位置，数据的抽取和转换规则，存储了和数据仓库主题有关的信息，而且整个数据仓库的运行都是基于元数据的，如数据的修改，跟踪、抽取等。是数据仓库的核心。数据仓库的元数据对数据仓库中的数据描述包含还有：

• 关于数据源的元数据
• 关于抽取和转换的元数据
• 关于最终用户的元数据。

2.数据仓库的基本概念

1. 外部数据源
2. 数据抽取：按分析主题从业务数据库抽取相关数据的过程。
3. 数据清洗：清洗错误、不一致的数据等
4. 数据转换：将不同的数据转换为统一的数据格式。
5. 数据加载：将清洗后的数据加载到数据仓库的过程。
6. 元数据：元数据是关于数据的数据，存在于程序和数据中，是信息处理环境中的一部分。元数据位于数据仓库的上层，而且能够记录数据仓库中对象的位置。
7. 数据集市：面向某个部门或者主题在逻辑上或物理上划分出来的数据仓库的一部分子集。
8. 数据粒度：粒度指的是数据仓库中数据存储单位的细化程度或者综合程度的区别。

3.数据仓库的体系结构

数据仓库在逻辑思维可以分为三个层次：

• 数据获取、管理层：数据仓库的定义和修改，数据的获取，数据仓库系统的管理。
• 数据存储层：存储层是数仓的主体，存储的数据包含三个部分：
  • 从外部数据抽取的数据，经过清洗转换后按主题进行组织存放（业务数据仓库）
  • 数据仓库的元数据
  • 针对不同的数据挖掘和分析主题生成的数据集市。
• 数据分析应用层。面向一般用户，注意实现的功能为查询、统计、OLAP和数据挖掘服务。