数据库三种模式
1)模式、逻辑模式、概念模式
数据库设计者通过数据定义语言进行设计。一个数据库只有一个模式,是数据库逻辑上的视图。
2)外模式
用户通过数据操作语言进行操作。是用户级视图,一个数据库可以有多个外模式。
3)内模式、存储模式
描述了数据库在物理上的存储方式和物理结构。
分布式数据库
LIS:本地内部模式
LCS:本地概念模式
GSC:全局概念模式
ES:外部模式:用户的应用和对数据库的访问。
断言
所谓断言就是一个谓词,它表达了我们希望数据库总能满足的一个条件。域约束和参照完整性约束是断言的特殊形式。如属性A>100。
三、分布式数据库设计
分布式数据库设计:数据和程序放置到计算机网络上的决策过程。
考虑两种分布:
1.DDBMS软件的分布。
三种体系架构:1)客户/服务器架构;2)P2P;2)多数据库体系架构。
2.DBMS之上运行的程序的分布。
分布式系统三个组织维度:
1 共享级别:
1)无共享:数据和程序都不共享。
2)数据共享:所有程序在每个站点复制。
3)数据和程序同时共享。
在异构的环境下,执行同样的程序通常十分困难。而数据传输则相对容易。
2 访问方式:静态和动态。不可能是静态的,问题的本质是到底多么动态。在这一维度上,分布式数据库设计和查询处理之间建立了一种关系。
这里是引用
3 有关访问方式的知识。设计者是否可以预见用户的访问方式。通常是设计者掌握完整信息或者部分信息。
两种设计方法:自顶向下和自底向上
3.1 自顶向下
3.2 分布设计的研究问题
3.2.1 为什么要分片
以片段为单位可以实现事务的并发执行。另外,将一个查询分解成多个片段的子查询,实现查询的并发执行。
这样,分片明显的增加了并发度,从而增加了系统的吞吐量。这种形式的并发被称为查询内并发。
3.2.2 不同的分片方法:垂直和水平
也有可能是带有嵌套的混合方式。
3.2.3 划分程度
3.2.4 分片的正确性
1)完整:关系中每个数据项在片段中都可以找到,对于水平分片是元组,垂直是属性。
2)重构:能够找到一个操作△,使得所有的片段可以通过这个操作重构成原来的关系。
3)不相交:每个数据项仅属于一个片段。对于垂直分片,仅适用于非主码的属性。
3.2.5 不同分配方法
如何将片段分配到不同的网络站点。
三种方法:
1)划分式:每个分片只在网络中保持一个副本。
2)全复制:每个站点拥有全部的数据库。
3)部分复制。
3.2.6 信息需求
分布设计需要哪些信息?
数据库信息,应用信息,通信网络信息,计算机系统信息。
后两类是完全定量的,用于分配模型,而不是分片算法。
3.3 分片
3.3.1 水平分片
1)自主式:通过定义在该关系上的谓词来完成。
2)诱导式:通过定义在另一关系上的谓词完成。
水平分片的信息需求
1)数据库信息
数据库信息与全局概念模式有关。
数据库的关系是如何相互联系的?
在关系模型中,数据库之间的关系通过关系表示。(二维表的形式)
这里的理解是:关系模型是一张张二维表的形式,对于ER模型来说,数据库之间的联系是通过显示的线来表示的,便于与客户沟通,而到了数据库设计阶段,所有的关系也是通过表来表示的。
其他方法:为了分布设计,在直接通过相等关系连接的两个关系之间画上一个有向链接。
2)应用信息
分析用户的查询需求。
定性信息和定量信息。定性信息指导分片,定量信息指导分配。
定性信息包含在用户使用的谓词中。简单谓词。
复杂谓词:简单谓词通过布尔运算组合构成。
中间项谓词:简单谓词合取链接(交,∧)。简单谓词出现在中间项中的形式:自然形式或否定形式。
注意:不使用不等号而是用否定形式,不等式的否定形式转换为其补集。
关于定量信息。
①中间项选择率。用户使用的中间项所能查询到的元组的个数(所占比例)
②访问频率。用户应用访问数据的频率。
自主式水平分片
由中间项划分的片段称为中间项片段。
任何分片的第一步都要决定形成中间项的简单谓词
简单谓词的完整性和最小性
完整性:每个应用访问片段中的任何元组时,每个元组具有相同的访问概率。
这里表述有点不清楚,我的理解是:每个分片中的每个元组被访问的概率相等。
保证了所有分片中具有均衡的负载。每个分片中负载均衡。
最小性:如果一个谓词将一个片段划分为F1和F2,那么应该至少有一个应用对F1和F2的访问不同。换句话说,简单谓词应该与决定分片相关。如果所有的应用对F1和F2的访问是相同的,那么这样划分将没有意义。
mi在fi中的访问频率不等于mj在fj中的访问频率。
求完整和最小谓词集合算法
实际上对片段的划分就是选择中间项的过程,因此,并不需要直接对片段划分,先选择中间项。
诱导式水平分片
即根据S的分片结果对R进行分片。
如果R有两个以上的链接,即R可能有不止一个的诱导式水平分片。需要考虑:
①更好的连结特性。
②拥有更多的应用。
第二个是显然的,分片的结果肯定优先满足更大的应用,更频繁的数据访问。
第一点比较复杂,主要是两点:1)使得连结在更小的关系上(即片段)进行。2)提供并行连结的可能。
简单图:一个片段只有一个进入的链接和一个离开的链接。
简单图带来的好处:一个连接的属主和成员可以分配到一个站点,因为通过这个成员的访问只能通过该属主 。同时,不同片段对之间的连结可以并行独立的执行。
划分连结图:将一个连结图划分为多个子图,这些子图之间不存在链接。可能不利于分布和并行执行,但是对分配还是有利的。
正确性检查
1)完整性:各成员的片段中的元组都包含在属主关系中。
2)重构性:关系可以由它分片合取得到。
3)不相交性:自主式要比诱导式更容易实现不相交。自主式只要中间项谓词是互斥的,就可以保证不相交。
3.3.2 垂直分片
垂直分片本身要比水平分片复杂的多。m个非主码属性的可能分片结果是第m个bell数。
两种启发式方法:
1)分组:将每个属性分到一个片段,然后再进行连结,直到满足一定准则。
2)分裂:从一个关系开始,根据应用对属性进行划分。
垂直分片需要主码复制,一定程度上减少了通信。如果将主码属性作为一个片段放在一个站点,则每个更新请求都会在站点之间产生必须的通信。
垂直分片需要度量属性之间的‘亲密程度’,也就是亲和度。
也即如果某一查询Aj用到了属性qi,那么qi,Aj为1。
Ai,Aj的亲和度是指:所有需要同时访问他们的查询语句q,q的访问次数(访问频率*每次访问时的次数)的和。
聚类算法
健能算法
划分算法
正确性检查
完整性、重构性、不相交性。
这里的不相交与水平分片不同,有两种情况:1)使用了TID,每个片段不相交,因为TID是系统管理,用户透明。2)主码复制,除了主码其他属性不相交。
3.3.3 混合分片
交叉分片或嵌套分片。
先水平后垂直,或,先垂直后水平
3.4.1 分配
1)最小代价
2)性能。最小化响应时间,最大化吞吐量。
3.4.2 信息需求
数据库信息
片段选择率,片段大小。
应用信息
对片段的访问次数,更新次数、最大响应时间。
站点信息
存储数据单位代价、处理单位任务代价。
网络信息
站点间每帧数据的代价。
3.4.3 分配模型
满足响应时间限制,同时处理和存储代价降到最低。
总代价
查询处理和存储
1)存储代价:所有站点上存储所有片段的代价。站点×站点是否存储片段×片段大小。
2)查询代价:
更新和检索操作的次数×片段×处理单位任务代价
传输代价不同是不需要进行原始站点的代价计算。也包括更新和检索的传输代价。
限制
响应时间、存储、处理能力。
应该限制在一定范围,不超出最大响应时间,不超出站点的存储和处理能力。
解决办法
分配问题是一个NP问题,启发式方法寻找接近最优解。
3.5 数据目录
模式信息存储在数据词典/目录中。
模式有全局概念模式和局部概念模式,同样的,目录也有全局目录和局部目录。
目录本身也是数据库,包含实际存储的数据的元数据。
目录处理中的问题:1)信息搜索;2)目录存储位置,是否分布?3)目录的复制。
四、数据库集成
1)物理层面集成:
集成的数据库物化,称为数据仓库。集成过冲中使用抽取-转换-载入工具ETL,从源数据库中抽取数据,将抽取的数据匹配到GCS上,并进行数据载入,企业应用集成采用类似方法,但不对数据库完全物化。
2)逻辑层面集成:
不物化数据,仅维护虚拟的全局概念。也被称为企业信息集成。数据集成或信息集成、数据库集成。
4.1 自底向上的设计方法
通用两个步骤:模式翻译和模式生成
第一个步骤生成规范的中间形式InS,第二个步骤利用中间模式生成GCS,
4.2 模式匹配
一组规则,反映了LCS匹配到GCS上。
存在的问题:
1)最重要的问题:数据模式的异构性。
2)模式和实例信息不完全。
3)数据模式文档难以获取。
4)匹配具有主观性。
匹配算法:
1)基于模式的匹配与基于实例的匹配。
2)元素级的匹配与结构级的匹配。
3)匹配基数。
4.2.1 模式异构性
不同的LCS之间的模式不同。
结构异构性和语义异构性
语义异构性对匹配算法带来的一些问题:
1)同义词、同形异义词和上位词。例如汽车是小轿车的上位词。为了解决这些问题,引入领域本体的概念,即定义特定领域的概念组织方式。
2)不同的本体。
3)用词不准确。
1)表示尽量使用专业领域特定的一些词,而2)说明了即使本体(专业领域)不同,也可能出现同形异义词等。
4.2.2 语言的匹配方法
基于模式和实例都行。
基于模式就是看两个模式的元素之间的相似性,
4.2.3 基于限制的匹配方法
4.2.4 基于学习的方法
4.2.5 组合的匹配方法
1)复合:
使用不同的匹配器对两个模式中的概念进行评分,综合评价他们的相似度。
2)混合:
两个模式中的元素在同一算法通过一系列匹配器进行比较。通过一个相似性判定才能进行下一个。
4.3 模式集成
4.4 模式映像
4.4.1 映像建立
匹配模式没有显示说明如何从局部模式得到全局数据库,模式映像主要研究这一点。
两个基本问题:映像建立和映像维护。
4.4.2 映像维护
数据模式动态变化,可能会导致映像失效。
1)检测无效映射;2)调整无效映射。
4.5 数据清洗
数据仓库在创建全局数据库时进行清洗,可以线下进行。
数据集成系统在源数据库返回数据的查询处理阶段进行数据清洗,必须线上。性能更加重要。
错误:
模式级错误:LCS违反显示或隐式的约束。应该在模式匹配阶段检测。
实例级错误:数据错误,生成一组查询对数据进行清洗。
五、数据与访问控制
5.1 视图管理
5.1.1 集中式DBMS中的视图
定义视图只在目录中存储视图的定义。
视图查询可以映像为基础表查询,叫做查询修改。
不是所有的都能更新,只有视图上的更新操作能正确传递到基础关系表上才可以。有时视图的更新操作会在基础关系表上引起歧义。
5.1.2分布式DBMS中的视图
视图查询同样可以和基础关系表查询等同。
诱导视图是集中式DBMS的方法。
5.1.3 物化视图的维护
视图更新两种方式:
1)事实更新
保持了视图与基础表的一致性,只读查询快;事务需要同时更新视图和表,增加了事务处理时间。
2)延迟更新:①惰式更新,在该视图上进行查询之前更新。增加了查询时间②阶段更新:每天固定时间更新,③强制性更新,在基础数据上更新了一定次数后更新视图。后两种方法允许不一致,快照。
增量计算视图:每次只计算视图的改变部分。----区分关系表,保存视图的修改操作。
自维护性
5.2 数据安全
数据保护和访问控制。
5.2.1裁决式访问控制
系统主体通常由元组(用户名,密码)定义。
授权规则存储在目录中,最方便的方式是授权矩阵。
授权矩阵三种形式:按行, 按列, 按元素。按元素即关系表(主体,对象,权限)对矩阵进行存储。
5.2.2 多级访问控制
裁决式问题:未授权的用户可以通过授权的用户访问到未授权的数据。
多级访问控制解决了这一问题。
进程关联密级给用户不同级别的权限,不向上读,不向下写。
5.2.3 分布式访问控制
5.3 语义完整性控制
数据库一致性—数据库满足一组约束—语义完整性约束
5.3.1 集中式完整性控制
完整性约束定义
1)预定义约束,如非空等
2)先决条件约束,更新操作类型给定的情况下。如预算只能增加不能减少。
3)通用约束,多个关系表中的通用约束。
完整性执行
1)基于不一致性检测。后测试,可能导致事务撤销,效率低。
2)基于不一致性预防。前测试,效率高。
查询修改算法
分布式完整性约束定义
由于断言可能包含不同站点的数据,因此分为下面三类。
执行分布式完整性断言
哪个站点执行完整性约束(取决于约束的类别,更新的类型,更新发生的站点,即查询主站点)。需要考虑的关键参数包括传输代价。
六、查询处理概述
查询处理程序。
步骤:
1)演算查询–>代数查询
2)查询访问数据定位到本地,应该是访问数据的地址。
3)片段上的代数查询以通信的操作加以扩展,还要用代价函数进行优化。
6.1 查询处理问题
高级查询转换为代价最小的低级查询。如何挑选出代价最小的低级查询?
6.2 查询处理目标
两个度量:总代价(见第三章),响应时间
6.3 关系代数运算的复杂度
6.4 查询处理程序的刻画
语言
查询处理必须高效完成输入语言到输出语言的映射。
优化类型
如果考虑所有的查询策略,优化成本可能很高。
随机方法:迭代改进和模拟退火。启发式方法。
优化时机
静态查询优化,动态查询优化,混合的查询优化方法。
动态查询优化的优点是可以得到前一次查询的结果,选择更好的运算,缺点是查询优化必须在每次查询中重复执行。
混合方法基本上是静态的,但是如果运行中实际中间结果大小与估计大小差距很大,可以随时进行动态查询。
统计
查询优化的有效性依赖于对数据库的统计。
决策站点
静态优化时,哪一个站点参与决策?
网络拓扑的利用
广域网中,通信代价是决定性因素,局域网中,通信代价与IO代价相当。
利用复制的片段
使用半连接
6.5 查询处理的层次
6.5.1 查询分解
6.5.2 数据本地化
6.5.3 全局查询优化
1)通信操作
最小化总代价的通信代价
2)片段的一个查询内的操作顺序
半连接