第七章 数据管理技术的发展

第一节 数据库技术发展概述

1.数据模型是数据库系统的核心和基础。
以数据模型的发展为主线，数据库技术可分为第一代的网状，层次结构数据库系统，
第二代的关系数据库和第三代的面向对象数据库

2.支持关系数据模型的数据库是第二代数据库
3.第三代数据库的基本特征
（1）应支持数据管理，对象管理和知识管理
（2）必须保持或继承第二代数据库系统的技术
（3）必须对其他系统开放

4.数据库技术与人工智能技术相结合出现了演绎数据库，知识库和主动数据库。
5.还有一些与其他技术相结合出现的数据库。

第二节 数据仓库与数据挖掘

1.数据仓库的建立将操作型处理和分析型处理区分开来。
2.数据仓库是面向主题的，集成的，稳定的，随时间变化的数据集合，用于支持管理和决策的过程。
3.数据仓库的主要特征
（1）面向主题
数据仓库中的数据是按照主题开组织的
（2）集成性
（3）非易失性
（4）时变性
4.数据仓库的三个重要概念
（1）粒度
粒度是设计数据仓库的一个重要方面
粒度是指数据仓库的数据单位中保存数据的细化或综合程度的级别，细化程度越高，粒度越小，反之亦然。
（2）分割
分割是将数据分散到各自的物理单元中，一边能分别处理，以提高处理数据的效率。
数据分割后的单元称之为切片
（3）维
维是人们观察事物的特定角度，是考虑问题时的一类属性。

2.数据挖掘
数据挖掘是指从大量的，不完全的，有噪音的，模糊的，随机的实际应用数据中发现并提取隐藏在其中的，人们事先不知道的，但是又潜在有用的信息和知识的一种技术。
2.1 数据挖掘具备的功能
（1）概念描述
（2）关联分析
在数据挖掘技术中，基于关联规则的挖掘是应用较广的一种方法。
（3）分类与预测
（4）聚类
聚类是把数据按照相似性归纳成若干类别
（5）孤立点检测
孤立点是指数据中与整体行为表现不一致的数据集合
（6）趋势和演变分析

第三节 大数据管理技术

1.一般情况下，大数据是指无法在可容忍的时间内用现有信息技术和软，硬件工具对其进行获取、管理和处理的数据集合。
2.大数据的特点
（1）数据量大
（2）多样化
（3）快速化
（4）价值密度低
3.大数据处理的典型代表
（1）大数据存储
（1.1）分布式文件系统，著名的是HDFS,
（1.2）NoSQL数据管理技术
（1.2.1）键值存储
（1.2.2）文档存储
文档存储的存储格式可以多样化，适合存储系统日志等非结构化数据
（1.2.3）列存储
列存储是以列为单位进行存储数据
（1.2.4）图存储
图存储数据库是基于图理论构建的，使用节点，属性和边的概念。
（1.3）MapReduce技术
MaoReduce是一种并行编程模型。