数据库技术基础（笔记一）

数据库基础

数据库系统

数据库系统（DBS）是一个采用了数据库技术，有组织地，动态地储存大量相关数据，方便用户访问的计算机系统。
DBS是由数据库、硬件、软件和人员组成的。

数据库（DB）

数据库是统一管理的、长期存储在计算机内的，有组织的相关数据的集合。
特点是数据间联系密切、沉余度小、独立性较高、易扩展，并且可以各类用户共享。

硬件

硬件是构成计算机系统的各种物理设备，包括存储数据所需的外部设备。硬件的配置应满足整个数据库系统的需要。

软件

软件包括操作系统、数据库管理系统及应用程序。数据库管理系统简称DBMS它是数据库系统的核心软件，需要在操作系统的支持下工作，解决如何科学地组织和存储数据，如何高效地获取和维护数据。其主要功能包括数据定义功能、数据操纵功能、数据库的运行管理和数据库的建立与维护。

人员

系统分析和数据库设计人员
应用程序员
用户
数据库管理员

数据库管理系统的功能

数据库管理系统（DataBase Management System，DBMS）实现对共享数据有效地组织吗，管理和存取。

数据定义

DBMS提供数据定义语言(Data Definition Language, DDL)，用户可以对数据库的结构进行描述，包括外模式、模式和内模式的定义:数据库的完整性定义;安全保密定义，如口今、级别和存取权限等。这些定义存储在数据字典中，是DBMS运行的基本依据。

数据库操作

DBMS向用户提供数据操纵语言(Data Manipulation Language, DML), 实现对数据库中数据的基本操作，例如检索、插入、修改和删除。
DML分为两类，即宿主型和自含型。
所谓宿主型是指将DML语句嵌入某种主语言(如C、COBOL等)中使用:自含型是指可以单独使用DML语句，供用户交互使用。

数据库运行管理

数据库在运行期间多用户环境下的并发控制、安全性检查和存取控制、完整性检查和执行、运行日志的组织管理、事务管理和自动恢复等是DBMS的重要组成部分，这些功能可以保证数据库系统的正常运行。

数据的组织，存储和管理

DBMS分类组织、存储和管理各种数据，包括数据字典、用户数据和存取路径等。因此要确定以何种文件结构和存取在存储级上组织这些数据，一提高存取效率。

数据库的建立和维护

数据库的建立和维护包括数据库的初始建立，数据的转换、数据库的转储和恢复、数据库的重组和重构、性能监测和分析等。

其他功能

DBMS的网络通信功能

数据库管理系统的特征及分类

DBMS的特征

• 数据结构统一化管理
  数据库中的DBMS统一管理。由于数据库体统采用复杂的数据模型表示数据结构，数据模型不仅描述数据本身的特点，还描述数据之间的联系。
• 有较高的数据独立性
  数剧独立性是指数据与程序独立。DBMS负责数据的存储。应用程序负责数据的逻辑结构。
  数据的独立性包括数据的物理独立性和数据的逻辑独立性。
• 数据控制功能
  1.数据库的安全性
  保护数据库以防止不合法的使用所造成的数据泄漏、更改和破坏。
  2.数据库的完整性
  数据库的正确性和兼容性
  3.并法控制
  多用户共享的系统中，许多用户可能同时对同一数据进行操作。
  4.故障恢复
  事务内部故障、系统故障、介质故障以及计算机病毒

DBMS的分类

• 关系数据库体统
  数据库系统是建立在关系数据库模型基础上的数据库，借助于集合代数等概念和方法来处理数据库中的数据。
• 面对对象的数据库系统
  支持以对象形式对数据建模的数据库管理系统，包括对对象的类，类属性的继承和子类的支持。
  特点：
  面对对象数据模型能完整的描述现实世界的数据结构，能表达数据间的嵌套、递归联系。
  面对对象技术的封装性和继承性提高了软件的可重用性。
• 对象关系数据库系统
  对象关系数据库系统在传统的关系数据模型基础上提供元组、数组、集合等更为丰富的数据类型以及处理新的数据类型以及处理新的数据类型操作的能力。

数据库系统的体系结构

集中试数据库系统

在系统中数据是集中的，数据的管理也是集中的，数据库系统中所有的功能都集中在DBMS所在的计算机中。

客户端/服务器结构

一个处理机（客户端）的请求被送到另一个处理机（服务器）上执行
事务服务器
事务服务器也称查询服务器。它提供一个接口，使得客户端可以发出执行一个动作的请求，服务器响应客户端请求，并执行结构返回给客户端。用户端可以用SQL，通过应用程序使用调用机制来表达请求。
数据服务器
数据服务器系统使用客户端可以与服务器交互，以文件或页面为单位对数据进行读取或进行读取或更新。

并行数据库系统

• 共享内存式多处理器
  一台计算机上同时有多个活动的CPU，他们共享一个内存和一个公共磁盘接口。
• 无共享式并行体系结构
  一台计算机上同时有多个活动的CPU，他们都有自己的内存和公共磁盘。

分布试数据库系统

分布式DBMS有两种：物理上的分布和逻辑上的分布
物理上的分布的指导思想是把单位的数据模式(称为全局数据模式)按数据来源和用途合理地分布在系统的多个结点上，使大部分数据可以就地或就近存取。数据在物理上分布后，由系统统一管理，使用户不感到数据的分布。
逻辑上的分布：
一般由两部分组成:一是 本结点的数据模式，
二是本结点共享的其他结点上有关的数据模式。结点间的数据共享由双方协商确定。这种数据库结构有利于数据库的集成、扩展和重新配置。

数据库的三级模式结构

概念模式

概念模式是数据库中全部数据的逻辑结构和特征的描述，由若干个概念记录类型组成，只涉及的描述，不涉及具体的值。
概念模式反映的事数据库的结构及其联系，所以是相对稳定的；而实例反应的是数据库某一时刻的状态，所以是相对变动的。

外模式

外模式是用户与数据库系统的接口，是用户用到的那一部分数据的描述。他由若干的外部记录类型组成。
用户使用数据操纵语言对数据库进行操作，实际上是对外模式的外部记录进行操作。

内模式

内模式也称存储模式，是数据物理结构和存储方式的措述，是数据在数据库内部的表示方式，定义所有的内部记录类型、索引和文件的组织方式，以及数据控制方面的细节。
内部记录并不部及物理记录，也不涉及设备的约束。它比内模式更接近于幼理存储和访间的那些软件机制，是操作系统的一部分（即文件系统）。例如，从磁盘上读、写数据。

两级映像

（1）模式内模式映像。存在于概念级和内部级之间，实现了概念模式和内模式之间的相互转换。
（2）外模式/模式映像。存在于外部级和概念级之间，实现了外模式和概念模式之间的相互转换。

数据的独立性是指数据与程序独立，将数据的定义从程序中分离出去，由DBMS负责数据的存储，从而简化应用程序，大大减少应用程序编制的工作量。数据的独立性是由DBMS的二级映像功能来保证的。
数据的独立性：
（1）数据的物理独立性。数据的物理独立性是指当数据库的内模式发生改变时，数据的逻辑结构不变。由于应用程序处理的只是数据的逻辑结构，这样物理独立性可以保证，当数据的物理结构改变时，应用程序不用改变。但是，为了保证应用程序能够正确执行，需要修改概念模式和内模式之间的映像。
（2）数据的逻辑独立性。数据的逻辑独立性是指用户的应用程序与数据库的逻辑结构是相互独立的。数据的逻辑结构发生变化后，用户程序也可以不修改。但是，为了保证应用程序能够正确执行，需要修改外模式和概念模式之间的映像。

大数据

大数据的特征

1. 大数据（Big Data）是指“无法用现有的软件工具提取、存储、搜索、共享、分析和处理的海量的、复杂的数据集合”。业界通常用“4V”来概括大数据的特征。

大量化（Volume）指数据体量巨大。随着IT技术的迅猛发展，数据量级已从TB（1012字节）发展至PB乃至ZB，可称海量、巨量乃至超量。

多样化（Variety）指数据类型案多。相对于以往便于存储的以文本为主的结构化数据，非结构化数据越来越多，包括网络日志、音频、视频、图片、地理位置信息等，这些多类型的数据对数据的处理能力提出了更高的要求。

价值密度低（Value）指大量的不相关信息导致价值密度的高低与数据总量的大小成反比。以视频为例，一部一小时的视频，在连续不间断的监控中，有用数据可能仅有一两秒。因此，如何通过强大的机器算法更迅速地完成数据的价值并提高其价值，如何对未来趋势与模式的可预测分析、深度复杂分析成为目前大数据背景下需要解决的难题。

快速化（velocity）指处理速度快。大数据时代对时效性要求很高，这是大数据区分于传统数据挖掘的最显著特征。

大数据研究的问题

大数据不仅仅是指海量的信息，更强调人类对信息的筛选、处理，保留有价值的信息，即让大数据更有意义，挖掘其清在的“大价值”这才是对大数据的正确理解。为此，有许多问题需要研究与解决。

1. 高并发数据存取的性能要求及数据存储的横向扩展问题。目前，多从架构和并行等方面考虑解决。
2. 实现大数据资源化、知识化、普适化的问题，解决这些问题的关键是对非结构化数据的内容理解。
3. 非结构化海量信息的智能化处理问题，主要解决自然语言理解、多媒体内容理解、机器学习等问题。