HDFS数据完整性

于 2020-10-13 07:41:05 发布
阅读量2.3w 收藏
点赞数 1
文章标签： hadoop hdfs 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Ele_sorriu/article/details/109037032
版权

数据完整性

目标：掌握HDFS数如何宝成数据的完整性的

  1. 当DataNode读取block的时候，它会计算checksum
  2. 如果计算后的checksum，与block创建时（第一次上传是会计算checksum值）值不一样，说明block已经损坏。
  3. client读取其他DataNode上的block.
  4. datanode在其文件创建后周期验证checksum

在这里插入图片描述

Ele_sorriu
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
HDFS之数据完整性校验
Lord_War的博客
12-09 4117
HDFS数据处理中我们都不希望数据在存储和处理数据时丢失或者损坏，那如何保证数据完整性呢？
Hadoop技术HDFS数据读写流程共7页.pdf.zip
11-21
Hadoop技术HDFS数据读写流程共7页.pdf "显然提供了关于HDFS数据读写过程的详细信息，虽然实际的文档内容无法在此直接展示，但根据标题和描述，我们可以深入探讨HDFS的数据读写流程，以及它在Hadoop生态系统中的重要...
HDFS 数据完整性
liu_changshen的博客
11-04 202
图示: 解释：数据在写入之后进行校验和的计算，DataNode周期性进行校验和计算，将计算结果与第一次的结果进行对比。 若相同表示无数据丢失，若不相同表示数据有丢失，丢失进行数据恢复。 数据读取之前对数据进行校验，与第一次的结果进行对比。若相同表示数据没有丢失，可以读取。若不相同表示数据 有所丢失。到其他副本读取。 ...
HDFS的数据完整性
weixin_43874875的博客
11-07 733
1.当DataNode读取block的时候，它会计算checksum（校验和） 2.如果计算后的checksum与block创建时（第一次上传会计算checksum值）值不一样，说明block已经损坏 3.Client读取其他DataNode上的block 4.DataNode在其文件创建后周期验证checksum ———————————————— 版权声明：本文为CSDN博主「橙汁糖tzc」的...
HDFS可靠性策略
02-14
为了确保文件的完整性，HDFS 使用了 CRC32 校验机制。每个数据块都产生校验和，该校验和会保存在 .meta 文件内。客户端获取数据时可以检查校验和是否相同，从而发现数据块是否损坏。如果正在读取的数据块损坏，则...
Kafka hdfs flume 数据采集实验
最新发布
11-17
HDFS设计为跨多台机器存储大规模数据，提供高容错性和高吞吐量的读写访问。在数据采集过程中，HDFS通常作为数据的最终存储，可以存储Flume从Kafka接收的数据，以备后续的大数据分析和处理。 综上所述，这个实验可能...
HDFS的读取数据过程详解 + Java代码实现
01-20
接下来，使用`fs.open(file)`打开文件并返回一个`FSDataInputStream`，它是HDFS数据输入流的实现，用于读取文件内容。然后，我们用`BufferedReader`包装`InputStreamReader`，进一步处理输入流以便逐行读取数据。 ...
【HDFS篇06】HDFS数据读写流程1
08-04
3. **数据传输**：选定的DataNode开始从其硬盘中读取数据，并以Packet为单位发送给客户端，同时进行校验，确保数据的完整性和准确性。 4. **数据接收与写入**：客户端接收到数据后，先在本地缓存，然后将数据写入...
hdfsbackup:在HDFS和S3之间移动数据的工具，具有强大的数据完整性检查
05-15
hdfsbackup 通过数据完整性验证在HDFS和S3之间移动备份数据的工具。 该项目包括几个工具： s3copy通过MD5校验和验证在HDFS和S3之间复制数据。 compare-dir比较两个目录（在HDFS或S3上），以检测丢失的文件/不同的文件大小/不匹配的内容。 MD5校验和用于检测不匹配。 compare-file用MD5校验和验证比较两个文件（HDFS或S3）。 cleanup-multipart-uploads在S3删除失败的multipart-upload块。 cleanup-dir从HDFS目录中删除旧文件以回收HDFS空间。
图解: HDFS数据的完整性
王傲旗的大数据之路
11-04 4895
第一步:写入数据 第二步:进行首次校验和,得到数值70 第三步:读取数据时,仍然会校验和,得到数据70 第四步:对比两次较校验和的值 如两次读取的值都是70,则开始读取数据 如两次读取的值不一致,说明此节点数据丢失,则去其他节点读取数据 总结一下: 1.数据在写入之后进行校验和的计算,DataNode周期性的进行校验和计算,将计算结果与第一次进行对比,若相同表示无数据丢失,若不相同表示...
MapReduce基础：HDFS的数据完整性
jp413670706的专栏
08-06 377
HDFS会对写入的所有数据计算校验和，并在读取数据时验证校验和。 DataNode负责在接收到数据后存储该数据及验证校验和   恢复损坏的Block, 主要有以下几步： 1）客户端在读取Block时，如果检测到错误，首先向NameNode报告已损坏的Block及其正在尝试读操作的这个DataNode, 再抛出ChecksumException 2）NameNode将这个Block副本标
Hadoop 之 HDFS 的数据完整性
Andrew的成长之路
02-02 2249
Hadoop 用户肯定都不希望系统在存储和处理数据时不会丢失或者损坏任何数据。接下来，我们来考究一下 HDFS 在为了保证数据完整性，所做的工作。总的来说，HDFS 会对写入的数据计算校验和，并在读取数据时验证校验和。datanode 负责收到数据后存储该数据及其校验和。datanode 的数据来源可分为两种，其一为是从客户端收到的数据，其二为从其他 datanode 复制来的数据。还有一种情况，正
HDFS数据完整性设计
MC的专栏
03-23 342
HDFS作为一种分布式文件存储系统，数据完整性是最重要的性能指标之一。HDFS是用CRC-32(32位循环冗余校验，4个字节大小)作为其数据完整性校验方式，下面分两种常态情况介绍其校验过程： IO操作 在通过client向DataNode节点写数据时，会先在client端针对写的数据每个io.bytes.per.checksum(默认512字节)字节创建一个单独的校验和，并将该校验和同数据本身一起
HDFS数据完整性解析
morphinghoo的专栏
07-30 759
HDFS存储了大量的用户需要的数据，由于每一个磁盘或者是网络上的I/O操作，可能会对正在读写的数据处理导致数据丢失，或者错误。下面两种数据检验方式，以此来保证数据的完整性，而且这两种检验方式在DataNode节点上是同时工作的。       1.校验和        检测损坏数据的常用方法是在第一次进行系统时计算数据的校验和，在通道传输过程中，如果新生成的校验和不完全匹配原始的
HDFS如何保证数据的完整性
一杯咖啡半杯糖的博客
09-11 3447
在读写过程中，由校验和检测数据的完整性 客户端写入datanode的时候，HDFS会对写入的数据计算校验和，默认每512个字节校验一次校验和，由dfs.bytes-per-checksum配置，在 hdfs-default.xml中配置 <property> <name>dfs.stream-buffer-size</name> <val...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值