第6章 数据存储和操作知识点梳理

第6章 数据存储和操作知识点梳理（附带页码）

---

◼ 定义：管理数据存储的设计、实现和支持活动，以实现其最大化价值。P127

◼ 目标：1 贯穿整个数据生命周期，管理数据的可用性。2 确保数据资产的完整性。3 管理数据交易的性能。P128

◼ 活动：1 管理数据库技术（理解数据技术。评估数据库技术。管理和监控数据库技术）。2 管理数据库操作（理解需求。规划业务连续性。创建数据库实例。管理数据库性能。管理测试数据集。管理数据迁移）。P128-129

◼ 输入：数据架构。数据需求。数据模型。服务级别协议。P127

◼ 交付成果：数据库技术评估标准。数据库环境。迁移/复制/多版本数据。业务连续规划。数据库性能操作级别协议 OLA。P127

◼ 度量指标：数据存储/性能/操作/服务四个度量指标。P127

◼ 业务驱动因素：保障业务连续性。P128

◼ DBA 遵循的指导原则：1 识别自动化的机会并采取行动。2 构建时就考虑重用的思想。3 理解并适当使用最佳实践。4 支持数据库的标准需求。5 为项目中的 DBA 角色设置期望值。P128-129

◼ DBA 为开发环境、测试环境、QA 环境和其他特殊数据库环境提供支持。不是独立完成数据存储和操作活动的唯一角色 。可分为生产 DBA、应用程序 DBA、过程和开发 DBA、网络存储管理员 NSA。P129

◼ 生产 DBA 主要负责数据操作管理，包括：1）通过性能调优、监控、错误报告等活动，确保数据库的性能及可靠性。2）通过建立备份与恢复机制，确保在任何意外情况下数据能够被恢复。3）通过建立集群和容错机制，确保数据连续可用。4）执行其他数据库维护活动，如建立数据归档机制。P130

◼ 生产 DBA 交付的成果：1）生产数据库环境，确保性能，配置适当的安全性、可靠性和可用性级别。数据库系统管理员为 DBMS 的环境负责。2）控制数据库实施变更的机制和流程。3）建立确保数据完整、可用和恢复的机制。4）建立错误检测和报告的机制。5）提供与服务水平协议（SLA）相匹配的数据库服务。6）建立性能监控的机制和过程。P130

◼ 应用程序 DBA：负责所有环境（开发、测试、QA 及生产）中的一套或多套数据库，而不是指定负责管理某个环境的数据库系统。过程和开发 DBA：负责审查和管理数据库的过程对象。网络存储管理员 NSA：关注支持数据存储阵列的软硬件。P131

◼ 数据架构类型：集中式数据库、分布式数据库：联邦的（自治的）、非联邦的（非自治的）。P131

◼ 联邦数据库对于类似企业信息集成、数据可视化、模式匹配和主数据管理这样异构和分布式的集成项目非常合适。分松耦合、紧耦合。区块链数据库是一种联邦数据库，它有单条记录和块两种结构类型。P132

◼ 在云上实施数据库的方法：虚拟机镜像。数据库即服务 DaaS。管理托管云上的数据库。P134

◼ DBA 需要建立系统的项目集成机制：标准化/整合。服务器虚拟化。自动化。安全。P134

◼ ACID：1）原子性（Atomicity）。2）一致性（Consistency）。3）隔离性（Isolation）。4）持久性（Durability）。P134

◼ BASE：1）基本可用（Basically Available）。2）软状态（Soft State）。3）最终一致性（EventualConsistency）。P135

◼ CAP：1）一致性（Consistency）。2）可用性（Availability）。3）分区容错（Partition Tolerance）。3 选 2。Lambda 架构使用，当可用性和分区容错更重要时采用 Speed 路径，当一致性和可用性更重要时采用 Batch 路径。P135

◼ 数据存储介质：磁盘和存储区域网络 SAN。内存。列压缩方案。闪存。P136

◼ 数据库环境：生产环境。非生产环境（开发环境。测试环境。数据沙盒或实验环境。）P137

◼ 数据库组织模型：1 层次型数据库。2 关系型（多维数据库。时态数据库。）。3 非关系型（列式。空间。对象/多媒体。平面文件。键值对。三元组存储。）P138-139

◼ 常见数据库过程：1 数据归档。2 容量和增长预测。3 变动数据捕获。4 数据清除。5 数据复制【主动复制。被动复制】【水平数据扩展。垂直数据能容纳】【两种复制方式：镜像。日志传送】。6 韧性与恢复【立即恢复。关键恢复。非关键恢复】。7 数据保留。8 数据分片。P142-143

◼ 【活动 1-1】管理数据库技术-理解数据库的技术特征。理解技术是如何工作的，以及它在特定业务环境中如何提供价值是非常重要的。P146

◼ 【活动 1-2】管理数据库技术-评估数据库技术。应考虑：1）产品架构和复杂性。2）容量和速度限制，包括数据流传送速率。3）应用类别，如事务处理、商务智能、个人资料。4）特殊功能，如时间计算支持。5）硬件平台及操作系统支持。6）软件支持工具的可用性。7）性能评测，包括实时统计信息。8）可扩展性。9）软件、内存和存储需求。10）韧性，包括错误处理和错误报告。与采购组织和供应商关系不的因素：1）组织对技术风险的偏好。2）提供训练有素的技术专业人员。3）拥有成本，如软件许可费、维护费和计算资源成本。4）供应商声誉。5）供应商支持策略和版本计划。6）其他客户案例。P16

◼ 【活动 1-3】管理数据库技术-管理和监控数据库技术。关键在培训。要定期备份，同时做恢复测试。P147

◼ 【活动 2-1】管理数据库操作-理解需求。（1）定义存储需求。永久性还是临时性；初始容量；空间增长预测；数据保留合规性；（2）识别使用模式。（3）定义访问需求。P147-148

◼ 几种基本的数据库使用模式：1）基于事务型。2）基于大数据集的读或写型。3）基于时间型。4）基于位置型。5）基于优先级型。P148

◼ 【活动 2-2】管理数据库操作-规划业务连续性。组织要为灾难事件、影响系统或影响使用数据的不利事件进行业务连续性规划。管理层和组织的业务连续性字处理团队应审查 和批准数据恢复计划。DBA 团队应定期审查计划的准确性和全面性。（1）备份数据。（2）恢复数据。P148-149

◼ 【活动 2-3】管理数据库操作-创建数据库实例。1）安装和更新 DBMS 软件。2）维护多种环境的安装。3）安装和管理相关的数据技术。P149-150

◼ 安装和管理相关的数据技术：（1）物理存储环境管理。（2）管理数据访问控制【受控环境。物理安全。监控。控制。】（3）创建存储容器。（4）应用物理数据模型。（5）加载数据。（6）管理数据复制。【主动或被动复制。基于分布数据系统的分布式并发控制。在数据更改控制过程中，通过时间戳或版本号来识别数据更新的适当方法。】P150-152

◼ 软件配置管理 SCM 的四个步骤：配置识别、配置变更控制、配置状态报告、配置审计（物理配置审计。功能配置审计）。P150

◼ 管理数据访问控制：受控环境。物理安全。监控。控制。P150

◼ 【活动 2-4】管理数据库操作-管理数据库性能。步骤：1）设置和优化操作系统及应用程序参数。2）管理数据库连接。3）与系统开发人员和网络管理员合并，优化操作系统、网络和事务处理中间件。4）提供合适的存储。5）提供容量增长预测。6）与系统管理员一起，提供操作工作负载和基准，以支持 SLA 管理、收费计划、服务器容量及规划的生命周期轮换。P152-153

◼ 管理数据库性能的内容：（1）设置数据库性能服务水平。（2）管理数据库可用性。【可管理性。可恢复性。可靠性。可维护性】（3）管理数据库运行。（4）维护数据库性能服务水平。（5）维护备用环境。P152-153

◼ 影响数据可用性的因素：计划性停机。非计划停机。应用问题。数据问题。人为错误。P153

◼ 确保可用性的工具：备份工具。重组工具。统计信息搜索工具。数据完整性检查 工具。自动执行上述工具。利用表空间聚类 和分类。跨库进行数据复制保证高可用性。P154

◼ 数据库性能低下的常见原因：内存分配和争用。锁与阻塞。不准确的数据库统计信息。不良代码。低效而复杂的表连接。不当的索引。应用程序活动。过载的服务器。数据库的易变性。失控的查询语句。P154-155

◼ 替代环境类型：开发环境。测试环境。数据沙箱。备用的生产环境。P155-156

◼ 工具：数据建模工具。数据库监控工具。数据库管理工具。开发支持工具。P127

◼ 方法：在低阶环境中测试。物理命名标准。所有变更操作脚本化。P158

◼ 就绪评估/风险评估：（1）数据丢失。使用 SLA 审计和数据审计来评估和规划风险缓解措施。（2）技术准备。P159

◼ 组织和文化变化。DBA 往往不能有效提升自身工作对组织的价值。在应用发发时，常把数据管理视为应用程序开发的障碍。DBA 应要（1）主动沟通。（2）站在对方的立场上与之沟通。（3）保持专注于业务。（4）对他人要有帮助。（5）不断学习。P159-160

◼ 数据存储和操作治理。度量指标。（1）数据存储的度量指标。（2）性能度量评估指标。（3）操作度量指标。（4）服务度量指标。P160-161

◼ 数据存储的度量指标：1）数据库类型的数量。2）汇总交易统计。3）容量指标。4）已使用存储的数量。5）存储容器的数量。6）数据对象中已提交和未提交块或页的数量。7）数据队列。8）存储服务使用情况。9）对存储服务提出的请求数量。10）对使用服务的应用程序性能的改进。

◼ 性能度量评估指标：1）事务频率和数量。2）查询性能。3）API 服务性能。

◼ 操作度量指标：1）有关数据检索时间的汇总统计。2）备份的大小。3）数据质量评估。4）可用性。

◼ 服务度量指标：1）按类型的问题提交、解决和升级数量。2）问题解决时间。

◼ 数据存储治理的一部分是确保数据库遵守所有许可协议和监管要求。审计数据可以帮助确定每种技术和产品的总扔有成本（TCO）。P161

◼ 数据审计与数据有效性。数据审计是根据定义的标准对数据集进行评估的过程，通常是对数据集的特定关注点进行审计。审计的目的是为了确定数据的存储是否符合合同和方法要求。数据审计方法可能包括一个项目特定和全面的检查表、所需的可交付成果和质量控制标准。数据验证是根据既定的验收标准评估存储数据的过程，以确定其质量和可用性。数据验证程序依赖于数据质量团队（如果该团队存在）或其他数据使用者的需求所建立的标准。

◼ DBA 对数据审计和验证提供部分支持工作，包括：1）帮助制定和审查方法。2）进行初步的数据筛选和审查。3）开发数据监控方法。4）应用统计信息、地理统计信息、生物统计信息等技术来优化数据分析。5）支持采样及分析。6）审核数据。7）提供数据发现的支持。8）担任与数据库管理相关问题的主题专家。

---

第1章 数据管理
第2章 数据处理伦理
第3章 数据治理
第4章 数据架构
第5章 数据建模和设计
第6章 数据存储和操作
第7章 数据安全
第8章 数据集成和互操作
第9章 文件和内容管理
第10章 参考数据和主数据
第11章 数据仓库和数据智能
第12章 元数据管理
第13章 数据质量
第14章 大数据与数据科学
第15章 数据管理成熟度评估
第16章 数据管理组织与角色期望
第17章 数据管理和组织变革管理