第六章 数据存储和操作

1. 定义

• 数据存储与操作包括对存储数据的设计、实施和支持，最大化实现 数据资源的价值，贯穿于数据创建/获取到处置的整个生命周期

2. 业务驱动因素

• 数据存储与操作活动对于依 赖数据的企业来说非常关键，这些活动的主要驱动因素是业务连续性。

3. 目标和原则

• 目标：

  • 在整个数据生命周期中管理数据的可用性

  • 确保数据资产的完整性

  • 确保数据资产的完整性

• 原则

  • 识别自动化的机会并采取行动

  • 构建时就考虑重用的思想

  • 理解并适当使用最佳实践

  • 支持数据库的标准需求

    服务水平协议（SLA）可以反映DBA推荐的、开发人员认可的方法，以确保数据完整性和数据安全性

  • 为项目中的DBA角色设置期望值

• 节点：

  • 一台单独的计算机作为分布式数据库处理数据或者存储数据的一个部分。也就是一个服务器在集群中叫节点

• 管理员： 数据库管理员（DBA）是数据专业中最常见也是最广泛呗接纳的角色

  • DBA为生产环境，开发环境、测试环境，QA环境以及其他特殊数据库环境提供支持。

• 区块链数据库，是数据库存储的一种方式

5. 数据架构类型

• 集中式数据库

• 分布式数据库

  • 联邦的（自治的）

    数据联邦提供的数据不需要对数据源进行额外复制或持久化。联邦 数据库系统地将多个自治的数据库系统映射成一个单一的联邦数据库。

• 非联邦的（非自治的）

6. 数据处理类型

• 数据库处理有两种基本类型：

  • ACID

    1. 原子性（Atomicity）

    2. 一致性（Consistency

    3. 隔离性（Isolation）

    4. 持久性（Durability）

    在关系型数据库存储中，ACID相关技术是最主要的工具，通常采 用SQL作为接口。

  • BASE

    1. 基本可用（Basically Available）

    2. 软状态（Soft State）

    3. 最终一致性（Eventual Consistency）

    通常在大数据环境会使用BASE类型的系统，如大型互联网和社交媒体公司，因为它们的业务场景任何时候都不需要立即建立准确的拿到所有数据。

  • CAP

    • CAP定理（也称为“布鲁尔定理”）是集中式系统在朝着分布式的系统方向发展过程中提出的理论。

7 数据库的环境

1. 生产环境

2. 非生产环境

   • 常见的非生产环境

     1. 开发环境

     2. 测试环境

        测试环境通常用于：

        • ①质量保证测试（QA）。依据需求进行功能测试。

        • ②集成测试。将独立开发或更新的多个模块作为一个整体系统进行测试。

        • ③用户验收测试（UAT）。从用户视角进行系统功能测试。在这个场景下，测试用例是最常见的测试输入。

        • ④性能测试。任何时候都可考虑进行的高复杂度或大容量的测试，而不必等到下班后，或者对生产系统的高峰时间产生不利的影响。

        • ⑤功能测试

        测试环境是已经有了

     3. 支持环境

     4. 特别用途的环境

     5. 数据沙盒或实验环境（0-1）（是实验环境 不属于测试环境）

8. 数据库组织模型

• 层次型数据库

• 关系型数据库

• 非关系型数据库

  • 列式数据库

  • 空间数据库

    • 空间评估

    • 空间功能

    • 空间预测

    • 几何构造

    • 观测功能

• 对象/多媒体数据库

• 平面文件数据库

• 键值对

• 三元组存储

9. 常见数据库过程

• 变动数据捕获（Change Data Capture，CDC）是指检测到数据的变动并确保与变动相关的信息被适当记录的过程。

• 韧性与恢复

  1. 立即恢复

  2. 关键恢复

  3. 非关键恢复

9 物理命名标准

• 实体和属于是不需要遵循物理命名标准的，但是表和字段是需要遵循物理命名规则的

10 度量指标

• 数据库存储的度量指标

  1. 数据库类型的数量。

  2. 汇总交易统计。

  3. 容量指标。

  4. 已使用存储的数量。

  5. 存储容器的数量。

  6. 数据对象中已提交和未提交块或页的数量。

  7. 数据队列。

  8. 存储服务使用情况。

  9. 对存储服务提出的请求数量。

  10. 对使用服务的应用程序性能的改进。

• 性能度量评估指标

  1. 事务频率和数量。

  2. 查询性能。

  3. API服务性能。

• 操作度量指标

  1. 有关数据检索时间的汇总统计。

  2. 备份的大小。

  3. 数据质量评估。

  4. 可用性。

• 服务度量指标

  1. 按类型的问题提交、解决和升级数量。

  2. 问题解决时间。