【中项】系统集成项目管理工程师-第6章 数据工程-6.2数据存储及管理

前言：系统集成项目管理工程师专业，现分享一些教材知识点。觉得文章还不错的喜欢点赞收藏的同时帮忙点点关注。 

       软考同样是国家人社部和工信部组织的国家级考试，全称为“全国计算机与软件专业技术资格（水平）考试”，目前涵盖了计算机软件、计算机网络、计算机应用技术、信息系统、信息服务5大领域，总共27个科目，也是分为初、中、高三个级别。

       通信专业主要需要关注“计算机网络”这个专业类别，可以考的科目有初级资格的“网络管理员”、中级的“网络工程师”。

       还有5个高级资格专业，分别是“信息系统项目管理师“”系统分析师“”系统架构设计师“”网络规划设计师“”系统规划与管理师“。

       软考高级证书在通信行业比较吃香，主要原因有两个： 通信行业与计算机软件是相近专业，评职称满足相近专业的要求； 通信高级不能以考代评，但软考高级可以，很多考生通过考软考高级来评高级职称。
————————————————

                       

6.2数据存储及管理

       通过数据采集和预处理获得的数据，往往是组织具备较高价值的数字资源，确保这些数据得到 适当的保管和管理，是数据价值化的基础，组织往往根据数据规模和数据的重要性等，采用最合适 的存储介质、存储方法、管理体系、管理措施等。

6.2.1数据存储

       数据存储就是根据不同的应用环境，通过采取合理、安全、有效的方式将数据保存到物理介质 上，并能保证对数据实施有效的访问。其中包含两个方面：一是数据临时或长期驻留的物理媒介； 二是保证数据完整、安全存放和访问而采取的方式或行为。数据存储就是把这两个方面结合起来， 提供完整的解决方案。

1.数据存储介质

       数据存储首先要解决的是存储介质的问题。存储介质是数据存储的载体，是数据存储的基础。 存储介质并不是越贵越好、越先进越好，要根据不同的应用环境，合理选择存储介质。存储介质的 类型主要有磁带、光盘、磁盘、内存、闪存、云存储等，其描述如表6-1所示。

表6-1常见数据存储介质的描述

介质	描述
磁带	磁带是存储成本低、容量大的存储介质，主要包括磁带机、 自动加载磁带机和 磁带库。其主要的缺点就是速度比较慢
光盘	光盘的全称是高密度盘（CompactDisk），常见的格式有VCD（Video Compact    Disk）和DVD（Digital Video Disk）两种，前者能提供700MB左右的空间，后者容  量要大得多，可提供4.7GB～60GB的存储空间。光盘具有3个显著特点；一是光盘上 的数据具有只读性；是不受电磁的影响；三是光盘容易大量复制。这些特点使得光  盘特别适合用来对数据进行永久性归档备份
磁盘	利用磁盘存储数据时，一般采用独立冗余磁盘阵列RAID（Redundant Array of Independent Disks） 。RAID将数个单独的磁盘以不同的组合方式形成一个逻辑磁  盘，不仅提高了磁盘读取的性能，也增强了数据的安全性
内存	内存是计算机用于存放CPU中的运算数据，与硬盘等外部存储器交换数据的硬 件。 内存的性能决定了计算机运行的稳定性、反应速率。通常来说， 内存数据会在 断电后丢失所有数据
闪存	闪存是一种固态技术，使用闪存芯片来写入和存储数据，具有集内存的访问速 度和存储持久性于一体的特点，常作为磁盘的替代品
云存储	与将数据存储到本地硬盘驱动器或存储网络相比，云存储提供了一种可扩展的 替代方案，将数据存储在异地位置，可通过公共互联网或者专用私有网络进行访问

2.存储形式

       一般而言，主要有3种形式来记录和存储数据，分别是文件存储、块存储和对象存储，如表6-2所示。

表6-2：主要数据存储形式的描述

存储形式	描述
文件存储	文件存储也称为文件级或基于文件的存储，是一种用于组织和存储数据的分层存 储方法。换言之，数据存储在文件中，文件被组织在文件夹中，文件夹则被组织在目 录和子目录的层次结构下
块存储	块存储有时也称为块级存储，是一种用于将数据存储成块的技术。这些块随后作 为单独的部分存储，每个部分都有唯一的标识符。对于需要快速、高效和可靠地进行 数据传输的计算场景，开发人员一般倾向于使用块存储。（ 大数128M/块）
对象存储	对象存储通常称为基于对象的存储，是一种用于处理大量非结构化数据的数据存 储架构。这些数据无法轻易组织到具有行和列的传统关系数据库中，或不符合其要 求，如电子邮件、视频、照片、网页、音频文件、传感器数据以及其他类型的媒体和 Web内容（文本或非文本）

3.存储管理

       存储管理在存储系统中的地位越来越重要，例如，如何提高存储系统的访问性能，如何满足数 据量不断增长的需要，如何有效地保护数据、提高数据的可用性，如何满足存储空间的共享等。存 储管理的具体内容如表6-3所示。

表6-3：存储管理的主要内容（如图书馆的管理）

管理方面	主要内容
资源调度管理	资源调度管理的功能主要是添加或删除存储节点，编辑存储节点的信息， 设定某类型存储资源属于某个节点，或者设定这些资源比较均衡地存储到节点 上。它包含存储控制、拓扑配置以及各种网络设备（如集线器、交换机、路由 器和网桥等）的故障隔离
存储资源管理	存储资源管理是一类应用程序，它们管理和监控物理和逻辑层次上的存储 资源，从而简化资源管理，提高数据的可用性。被管理的资源主要是存储硬 件，如RAID 、磁带以及光盘库。存储资源管理不仅包括监控存储系统的状况、 可用性、性能以及配置情况，还包括容量和配置管理以及事件报警等，从而提 供优化策略
负载均衡管理	负载均衡是为了避免存储资源由于资源类型、服务器访问频率和时间不均 衡造成浪费或形成系统瓶颈而平衡负载的技术

安全管理	存储系统的安全主要是防止恶意用户攻击系统或窃取数据。系统攻击大致 分为两类： 一类以扰乱服务器正常工作为目的，如拒绝服务（DoS）攻击、勒索病毒 攻击等；另一类以入侵或破坏服务器为目的，如窃取数据、修改网页等

6.2.2数据归档

       因数据量海量增长和存储空间容量有限的矛盾，需要制定合理的数据归档方案，并及时清除过 时的、不必要的数据，从而保证数据库性能的稳定。

       数据归档是将不活跃的“冷 ”数据从可立即访问的存储介质迁移到查询性能较低、低成本、大 容量的存储介质中，这一过程是可逆的，即归档的数据可以恢复到原存储介质中。数据归档策略需 要与业务策略、分区策略保持一致，以确保最需要数据的可用性和系统的高性能。在开展数据归档 活动时，有以下3点值得注意：

（1）数据归档一般只在业务低峰期执行。因为数据归档过程需要不断地读写生产数据库，这个 过程将会大量使用网络，会对线上业务造成压力。

（2）数据归档之后，将会删除生产数据库的数据，将会造成数据空洞，即表空间并未及时释 放，若长时间没有新的数据填充，会造成空间浪费的情况。

（3）如果数据归档影响了线上业务，一定要及时止损，结束数据归档，进行问题复盘及时找到 问题和解决方案。

6.2.3数据备份

       数据备份是为了防止由于各类操作失误、系统故障等意外原因导致的数据丢失，而将整个应用 系统的数据或一部分关键数据复制到其他存储介质上的过程。这样做是为了保证当应用系统的数据不可用时，可以利用备份的数据进行恢复，尽量减少损失。

1.备份结构

       当前最常见的数据备份结构可以分为4种：DAS备份结构、基于LAN的备份结构、LAN-FREE 备份结构和SERVER-FREE备份结构。具体如表6-4所示。

表6-4：常见的数据备份结构的主要内容

备份结构	主要内容
DAS备份结构	最简单的备份结构就是将备份设备（RAID或磁带库）直接连接到备份服务 器上。DAS备份结构往往适合数据量不大、操作系统类型单一、服务器数量有  限的情况。

基于LAN的备 份结构（LAN 指备份流和  业务流一起经 过同一网络）	基于LAN的备份结构是一种C/S模型，多个服务器或客户端通过局域网共享 备份系统。这种结构在小型的网络环境中较为常见，用户通过备份服务器将数 据备份到RAID或磁带机上。与DAS备份结构相比，这种结构最主要的优点是用 户可以通过LAN共享备份设备，并且可以对备份工作进行集中管理。缺点是备 份数据流通过LAN到达备份服务器，这样就和业务数据流混合在一起，会占用 网络资源
LAN-FREE备 份结构（LAN- FREE指备 份流不与业务 流同一网络， 即FREE了）	为了克服基于LAN备份结构的缺点，该结构将备份数据流和业务数据流分 开，业务数据流主要通过业务网络进行传输 ，而备份数据流通过SAN进行传 输。其主要缺点是由于备份数据流要经过应用服务器，因此会影响应用服务器 提供正常的服务
SERVER-FREE 备份结构	SERVER-FREE备份结构是LAN-FREE备份结构的改进。它不依赖应用服务 器，而是通过第三方备份代理直接将数据从应用服务器的存储设备传送到备份  设备上。第三方备份代理是一种软、硬结合的智能设备，使用网络数据管理协  议（Network Data Management Protocol ，NDMP）发送命令，从需要备份的应用 服务器上获得需要备份数据的信息 然后通过SAN直接从应用服务器的存储设备将需要备份的数据读出，再存 储到备份设备上

2.备份策略

       备份策略是指确定需要备份的内容、备份时间和备份方式。主要有3种备份策略： 份、差分备份和增量备份。这3种备份策略的对比如图6-2所示。

（1）完全备份（FullBackup） ：每次都对需要进行备份的数据进行全备份。当数据丢失时，用 完全备份下来的数据进行恢复即可。这种备份主要有两个缺点：一是由于每次都对数据进行全备 份，会占用较多的服务器、网络等资源；二是在备份数据中有大量的数据是重复的，对备份介质资 源的消耗往往也较大。

（2）差分备份（DifferentialBackup） ：每次所备份的数据只是相对上一次完全备份之后发生变 化的数据。与完全备份相比，差分备份所需时间短，而且节省了存储空间。另外，差分备份的数据 恢复很方便，管理员只需两份备份数据，如星期日的完全备份数据和故障发生前一天的差分备份数 据，就能对系统数据进行恢复。

（3）增量备份（ IncrementalBackup） ：每次所备份的数据只是相对于上一次备份后改变的数 据。这种备份策略没有重复的备份数据，节省了备份数据存储空间，缩短了备份的时间，但是当进 行数据恢复时就会比较复杂。如果其中有一个增量备份数据出现问题，那么后而的数据也就无法恢 复了。因此增量备份的可靠性没有完全备份和差分备份高。

6.2.4数据容灾

      数据备份是数据容灾的基础（ 高23上）。传统的数据备份主要采用磁带进行冷备份，备份磁带 一般存放在机房中进行统一管理，一旦整个机房出现灾难，如火灾、盗窃和地震等时，这些备份磁 带也随之毁灭，起不到任何容灾作用。

     ​​​​​​​因此，真正的数据容灾就是要避免传统冷备份的先天不足，它在灾难发生时能全面、及时地恢 复整个系统。容灾按其灾难恢复能力的高低可分为多个等级，例如， 国际标准SHARE78定义的容 灾系统有7个等级，从最简单的仅在本地进行磁带备份，到将备份的磁带存储在异地，再到建立应用系统实时切换的异地备份系统。恢复时间也可以从几天到小时级到分钟级、秒级或零数据丢失 等。从技术上看，衡量容灾系统有两个主要指标，即RPO（RecoveryPointObject ，恢复点目标）和 RTO（RecoveryTimeObject ，恢复时间目标），其中RPO代表了当灾难发生时允许丢失的数据量， 而RTO则代表了系统恢复的时间。

     ​​​​​​​数据容灾的关键技术主要包括远程镜像技术和快照技术。

（1）远程镜像技术。远程镜像技术是在主数据中心和备份中心之间进行数据备份时用到的远程 复制技术。镜像是在两个或多个磁盘子系统上产生同一个数据镜像视图的数据存储过程，一个称为 主镜像；另一个称为从镜像。按主从镜像所处的位置分为本地镜像和远程镜像。本地镜像的主从镜 像处于同一个RAID中，而远程镜像的主从镜像通常分布在城域网或广域网中。由于远程镜像在远  程维护数据的镜像，因此在灾难发生时，存储在异地的数据不会受到影响。（空间角度）

（2）快照技术。所谓快照，就是关于指定数据集合的一个完全可用的复制，该复制是相应数据 在某个时间点（复制开始的时间点）的映像。快照的作用有两个：①能够进行在线数据恢复，可以 将数据恢复成快照产生时间点时的状态；②为用户提供另外一个数据访问通道，比如在原数据在线运行时，利用快照数据进行其他系统的测试、应用开发验证、数据分析、数据模型训练等。（时间角度，VMware有快照功能）

1 #include "stdio.h"
2 void main()
3 {
4     int time;
5     for (time=1;time<=10;time++)
6     printf("%d、喜欢的帮忙点赞收藏加关注哦！\n",time);
7 }