存储过程可重用的代码块_存储网络 Day21 存档

8.3.3数据完整性

数据完整性意味着在归档过程和保留期内，数据始终保持其原始状态。但是，随着存储介质变得越来越老，单个位有时会翻转。此外，系统错误可能会导致更改大量数据。必须自动检测并记录对归档数据的无意修改，以便在可能的情况下评估和恢复数据的完整性。

前面讨论的数据安全性是数据完整性的重要先决条件。此外，在存档存档数据期间必须提供完整性证明。此处也提供标准技术：校验和，如循环冗余校验(CRC)，加密散列，如消息摘要算法5(MD5)和安全散列算法(SHA)，以及数字签名。 RAID和纠错编码(ECC)等标准技术也用于维护和恢复数据完整性(第2.8节)。

内容可寻址存储(CAS)是一种用于完整性检查的特殊实现，它也基于加密哈希。对于CAS系统中的应用程序存储的每个数据对象，计算散列或指纹并将其返回给应用程序。应用程序随后使用哈希作为数据的引用或指针。读取数据对象时，将重新计算其哈希值，并将其与存储为地址的哈希值进行比较。这样可以进行有效的完整性检查，并解释术语内容地址：哈希反映了数据的内容，并用作引用数据对象的地址。 CAS的优点是数据的完整性检查嵌入在存储过程中。缺点是当两个不同的数据对象生成相同的散列时，可能发生散列冲突。必须解决这些哈希冲突才能防止数据丢失。如果在数据存储过程期间执行散列计算，则由于计算散列所需的额外工作，数据吞吐量会受到影响。另一个缺点是，如果必须在CAS系统中更改哈希方法 - 例如从MD5到SHA1024 - 必须重新计算所有内容地址。然后必须为每个数据对象计算新的哈希。这可能是一个耗费时间和资源的过程并影响整个归档系统，因为必须在CAS中以及通过散列访问数据对象的应用程序中更新散列。

可以在归档系统的所有层上执行完整性审计。例如，生成数据的应用程序或管理数据的DMS可以创建，存储和测试校验和，哈希或数字签名。归档存储还可以提供检测故障数据的技术(例如RAID和ECC)，并在必要时自动重建它。多重完整性审计的优点是，不仅在DMS和存档存储之间的数据传输期间，而且在保留期间检测到潜在的数据错误。另一方面，出于成本和时间原因，应该对多个审计进行一些控制。

应自动运行归档存储中数据的完整性审计。在后台自动运行的持续完整性审核仅对实际归档操作的影响有限。在对数据的读访问期间执行的完整性审计是特别理想的，因为在访问时验证数据的完整性。当系统可以在任何时间点确保所有数据都有效时，可以接受相关的性能降低。检测到完整性故障时，应自动向用户或操作员发送错误消息。

当数据完整性恢复时 - 例如通过ECC - 重要的是确保数据的原始状态没有被改变。如果存在任何疑问，应放弃恢复并将数据标记为有故障。使用审计跟踪记录数据完整性的审计和恢复也很重要。日志必须清楚地显示数据对应于其原始状态。

案例研究：实践中的数据完整性

实际上，通常在归档系统内的不同层上组合并实现多种不同的数据完整性审计和恢复方法。图8.7显示了如何使用基于磁盘的归档存储的典型架构。该系统由一个系统控制器组成，该控制器支持与DMS的接口，该接收器接收数据和元数据并将其转发以存储到RAID控制器。系统控制器还负责相应地应用数据的保留时间，并包含其他功能，如数据迁移，备份和到期后的数据删除。 RAID控制器将数据转换为使用的特定RAID级别。然后将数据存储在磁盘上。

在这种情况下，数据的完整性在三个级别上受到保护。在最低级别，当前磁盘存储具有ECC的数据块，该ECC能够检测和重建存储在磁盘上的故障位。

除数据块外，RAID控制器还会生成他功能(例如数据清理(第2.8节))会定期检查RAID条带和奇偶校验块。RAID条带和奇偶校验块(第2.4和2.5节)，并且通常会对RAID条带应用额外的ECC。如果RAID阵列上的RAID条带不可读或失去其完整性，则可以使用奇偶校验块和ECC来检测并纠正此故障。出于性能原因，通常仅在发生故障时检查RAID条带和奇偶校验块。但是，RAID控制器中的其

系统控制器包含用于归档功能的控制软件，为从DMS发送的数据生成校验和。校验和与数据一起转发以存储到RAID控制器。同样，当系统控制器读取数据时，它可以通过重新计算校验和并将其与最初存储的校验和进行比较来检查数据的完整性。这允许系统控制器独立于RAID控制器和磁盘驱动器检测归档数据的更改 - 例如，通过对存储介质进行未经授权的操作所做的更改。

图8.7实际上，存储系统的多个组件都支持数据完整性。使用诸如RAID，校验和和纠错码(ECC)的不同技术。

因此，多级完整性审计可以防止不同类型的错误，然后可以在各自的级别上最有效地解决这些错误。因此，三重完整性审计所涉及的额外努力是有道理的。

8.3.4遵守法规的证明

在监管审计的情况下，必须提供证据证明没有对存档数据进行操纵。这通常通过审计跟踪来实现，并且可能需要所有数据访问的完整历史记录。审计跟踪通常以电子形式保存，并记录对存档数据的每次访问。

除日期和时间外，数据访问的审计跟踪应包括应用程序和用户的名称以及数据访问的类型和结果。审计跟踪记录通常由DMS或归档存储生成和存储。它们通常链接到监视系统，以确保在未经授权的访问或访问尝试发生时向系统管理员发送通知。审计跟踪还可用于记录管理界面中的所有活动。

在这种情况下，确保审计跟踪不能被更改是很重要的，因为操纵的审计跟踪不被认为是符合法规的。 WORM技术(第8.3.1节)可用于存储审计跟踪以及数据安全方法(第8.3.2节)。

为了证明合规性，创建和维护一套完整的文档也很重要。该文档必须描述端到端的归档和检索过程以及确保数据安全性，数据完整性以及无损和连续操作的措施。审计跟踪成为审计员用于评估存档系统和数据的这组文档的一部分。

8.3.5删除数据

保留期限届满时删除数据受法律要求的限制(第8.2.2节)。可以通过不同的方式在归档存储中删除数据，这部分取决于所使用的WORM存储技术(第8.3.1节)。所讨论的删除方法适用于删除元数据，删除数据本身以及销毁存储介质。

对于第一种方法，删除包括对数据的引用的元数据会破坏与数据的逻辑链接，尽管数据本身仍保留在存储介质上。这种方法有一个优点和缺点。一方面，该方法非常快，因为只删除了引用，因此只需要处理少量数据。另一方面，即使删除了引用，仍然可以重建数据。因此，某些法律要求要求在存储介质上完全销毁数据，这意味着该方法不能应用。删除引用可以与所有WORM存储技术一起使用。对于基于磁盘的WORM存储，此选项是最便宜的选项，因为已删除数据使用的存储容量可以重复使用。其他上述WORM技术不允许重用存储容量。

使用第二种方法，数据将被删除。在存储介质上物理地重写数据，并且还删除包括对数据的引用的元数据。这可确保在删除数据后无法重建数据。也称为数据粉碎，此方法只能用于基于磁盘的WORM技术，该技术允许覆盖介质(第8.3.1节)。这是一种廉价的变体，因为它允许重用过期数据释放的存储空间。它仅适用于基于磁盘的WORM技术，或者更一般地，适用于允许覆盖数据的存储技术。

利用第三种方法，存储数据的存储介质被破坏，从而明确地防止将来重建数据。这种方法特别适用于可移动介质(光学WORM存储和WORM磁带)，因为这种介质可以与存档存储分开移除并有选择地销毁。它也适用于不允许覆盖的存储技术。使用基于磁盘的WORM存储，破坏磁盘不是一个好主意。这不仅昂贵且耗时，而且还意味着必须销毁多个磁盘，因为使用RAID时，数据通常在多个磁盘上进行条带化(第2.4节)。无论使用哪种WORM技术，使用此方法都必须注意，仅销毁所有数据已过期的存储介质。总的来说，这是一种比前面提到的方法更昂贵的方法，因为存储介质在物理上被破坏，不能再次重复使用。

无论使用何种方法，都必须在归档系统中删除数据和元数据，以便在所有层(应​​用程序，DMS，归档存储)上进行同步。这是确保正确处理删除过程的唯一方法。因此，层之间的接口必须提供相互协同工作的适当删除功能(第8.4节)。

如果归档存储系统支持多种删除方法是有利的，因为根据各自的要求，可以选择最具成本效益的删除方法。这种方法允许在一个存档系统内同时支持不同的数据删除法律要求。

8.3.6连续运行

对于诸如归档系统之类的中央应用程序，连续操作几乎被认为是理所当然的。某些法律要求要求将数据丢失的风险保持在最低限度，并且在保留期内授予对存档数据的访问权(第8.2.2节)。

连续操作意味着在保留期内始终可以访问存档数据。有时还指定数据请求和数据传递之间的时间跨度。根据环境的不同，此时间跨度可以从几秒钟(例如，使用交互式操作)到几天(用于审核)。

本书的各个部分已经讨论了连续操作的技术，将在下一章(第9章)中再次详细介绍。当然，必须在存档系统的所有层保证连续操作(第8.1.4节)。因此，诸如群集，RAID和数据镜像之类的技术可以应用于这些系统的所有三个层(应用程序，DMS，归档存储)。

8.3.7无损操作

无损操作意味着不会丢失任何数据或元数据。对于归档系统，这意味着即使发生重大中断，也不会在整个保留期内丢失任何数据。考虑到归档系统的长寿命，备份和数据镜像等技术至关重要。

用于备份存档数据的技术与传统备份(第7章)的技术相同，唯一的区别是存档数据的备份副本是在存档系统中创建的(图8.4)。但是，通过备份存档数据，还必须确保备份副本的合规性。这可以通过使用WORM存储技术(第8.3.1节)作为备份媒体来实现。在恢复过程中，必须保证并且可能验证数据的副本与原始副本相对应。保证和恢复数据完整性的技术(校验和，哈希，数字签名和ECC，第8.3.3节)可用于此目的。集成自动数据备份和完整性审计的归档存储系统是最佳的，因为这意味着不需要额外的备份软件。

对于数据镜像，两个兼容的归档存储系统通常耦合在一起，数据在它们之间进行镜像(图8.8)。两个存储系统中的一个可能是活动的(主系统)，另一个是被动(备用系统)或两个系统可以同时处于活动状态。标准技术(如同步和异步数据镜像(第2.7.2节))用于在两个系统之间实际复制数据。与归档系统的备份类似，必须确保两个数据副本都符合法规要求。此外，系统故障的自动故障转移是一个优势，因为它减少了所涉及的手动操作以及故障转移时间。存档存储执行数据镜像的缺点是，如果从DMS接收的数据有缺陷，则数据的镜像副本也将有缺陷。

图8.8两个兼容的归档存储系统耦合在一起以进行数据镜像。数据从一个存档存储系统同步或异步复制到另一个存档存储系统。 DMS也可以接管数据镜像的控制，在这种情况下，存档存储系统之间的耦合被移除，DMS直接连接到两个存档存储系统。

另一种镜像原理是DMS镜像。 DMS将数据同步或异步复制到两个归档存储系统 - 类似于图8.8 - 唯一的区别是两个归档存储系统没有耦合在一起。 DMS控制数据复制过程以及一个归档存储系统发生故障时的故障转移。

通过这种类型的镜像，DMS可以控制数据副本，并在镜像数据期间自动检测和纠正错误。当存储在该系统中的所有数据由于灾难而完全丢失时，DMS完全恢复存档存储系统的能力很重要，但并不总是给定的。这种镜像的好处是DMS将数据写入两次，如果一个副本有缺陷，则第二次复制有缺陷的可能性很低。该方法的缺点是实现起来更复杂。此外，对于完全冗余和数据保护，需要两个DMS系统，它们还交换元数据和索引。

8.3.8数据管理：存储层次结构和迁移

由于存档数据的寿命很长，因此特别重视数据的成本有效存储和管理。一种重要的技术是分层存储管理(HSM)，它包括多个存储级别(分层存储)和这些层之间自动数据迁移的功能。这种技术有助于降低存储成本，因为它允许在不同的存储技术之间迁移数据(第8.1.6节)。

因此，当涉及大量数据时，归档存储必须支持包含不同WORM存储技术的分层存储(第8.3.1节)。图8.9显示了使用不同存储技术并结合数据生命周期的归档存储设备的存储层次结构。理想情况下，数据将根据访问时间和其他操作要求存储在最具成本效益的介质上(第8.2.7节)。

对于中小量的数据，仔细检查是否值得使用多层存储是明智的。使用这些数据量，通常更可行的是仅使用一种或两种不同的WORM技术 - 例如，第一个较短时间段的磁盘和第二个较长时间段的磁带。

图8.9归档存储中的不同存储层旨在满足不同的操作要求和成本目标。归档存储必须将数据存储在适当的存储池中，并在必要时自动迁移数据。这提供了要求和成本之间的最佳平衡。

存储层次结构的管理必须通过适当的虚拟化功能自动化，因为存档系统的用户不想关注存储其数据的媒体类型。可以使用标准的存储虚拟化技术 - 例如数据配置文件，它允许描述存档存储的不同用户组的访问行为(第5.2.3节)。

归档存储中的特定数据控制组件评估这些数据配置文件，并自动将归档数据发送到可用的最具成本效益的存储介质。数据可以在两个方向上迁移 - 例如，从磁盘(第1层)到磁带(第3层)，但同样从磁带到磁盘。同样，迁移应该对法规遵从性和数据完整性没有影响。这可以通过记录迁移过程并证明数据完整性的审计跟踪来确保(第8.3.3和8.3.4节)。

“数据迁移”这一表达描述了在存储层次结构中移动数据以及将数据从旧存储技术移动到新存储技术的过程。与存储层次结构相反，向新存储技术的数据迁移也与中小批量数据相关(第8.2.3节)。

尽管可以相对容易地将应用程序和DMS从一个服务器迁移到另一个服务器，但是将大量存档数据从一个存档存储转移到另一个存档存储更加复杂。这再次显示了支持不同存储技术和数据迁移的归档系统的优势。根据我们的经验，在采购归档系统期间经常忽略这个特定问题，并且可能需要额外的资源和预算来完成数据迁移。如果归档存储可以执行迁移(包括审计跟踪而不与DMS交互)，则会容易得多。