HDFS故障类型和其检测方法

最新推荐文章于 2022-12-14 10:26:05 发布
最新推荐文章于 2022-12-14 10:26:05 发布
阅读量783 收藏
点赞数
分类专栏： HDFS hadoop 大数据 文章标签： hadoop 分布式 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/czxylzl/article/details/114241573
版权
hadoop 同时被 3 个专栏收录
46 篇文章 0 订阅
订阅专栏
大数据
37 篇文章 1 订阅
订阅专栏
HDFS
14 篇文章 0 订阅
订阅专栏

常见的故障三种 节点故障，通讯故障，数据损坏。

    1. 节点故障
    • 主要关注DateNode的检查方法
      • DateNode每三秒会向NameNode发送自己的心跳信息
      • 如果十分钟内NameNode没有收到心跳信息，就判定DataNode死亡
    1. 通讯故障
    • 每当发送数据，接受者会回复一个应答信号
      • 如果没有收到应答信号（多次尝试），发送者就会认为主机已经挂掉，或发生网络错误
    1. 数据损坏
    • 校验和-数据
      • 当向硬盘存储数据时，也会存储校验和
大数据面试指南
关注
专栏目录
HDFS读写流程详解及故障处理机制
DIDI___的博客
07-17 1740
HDFS写数据流程 总体流程：   客户端通过对DistributedFileSystem对象调用create()来新建文件，DistributedFileSystem对NamNode创建一个RPC调用，在文件系统的命名空间中新建一个文件，此时该文件中还没有相应的数据块，NamoNode执行各种不同的检查以确保这个文件不存在以及客户端有新建改文件的权限。   如果这些检查均通过，NameNode就会为创建新文件记录一条记录，否则文件创建失败，并向客户端抛出一个IOEx
HDFS 运行状况检测
chenzl的专栏
10-30 4370
HDFS Canary 这是HDFS 服务范围(service-wide)运行状况(Healthy)检测,检查基本的客户端操作和操作完成是否在合理的时间内; 此测试报告周期运行"canary"测试的结果,按以下顺序操作 创建文件,默认路径/tmp/.cloudera_health_monitoring_canary_timestamp canary测试会往文件里写入一些数据,然后读取这些数据并验...
hadoop 3.x 案例3:datanode 异常
最新发布
只是甲的博客
12-14 644
hadoop 大数据平台运维 datanode异常 hdfs数据损坏 hdfs数据删除
生产调优HDFS—故障排除
weixin_44966780的博客
12-06 663
生产调优HDFS—故障排除 注意：采用三台服务器即可，恢复到 Yarn 开始的服务器快照。 NameNode 故障处理 1）需求： NameNode 进程挂了并且存储的数据也丢失了，如何恢复 NameNode 2）故障模拟 （1）kill -9 NameNode 进程 （2）删除 NameNode 存储的数据（/opt/module/hadoop-3.1.3/data/tmp/dfs/name） rm -rf /opt/module/hadoop3.1.3/data/dfs/name/* 3）问题解决
HDFS的故障检测与容错处理机制
本文旨在深入研究HDFS的故障检测与容错处理机制，探讨其原理和实现方式，以及相关的方法和技术应用，为实际应用提供参考和指导。 ## 1.3 文章结构 本文主要分为六个章节。第一章为引言，介绍了研究背景、研究目的...
hadoop日记2.1：hdfs设计思想和基础概念
09-07
1. **将硬件故障视作常态**：设计中假设硬件故障是不可避免的，因此错误检测和快速、自动的恢复成为HDFS最核心的架构目标。 2. **适用于顺序数据访问**：大多数情况下，应用是从头到尾读取文件数据，而非随机访问。 ...
HDFS故障处理与日志分析
HDFS采用了主从架构，其中有一个名为NameNode的主节点负责管理文件系统的元数据，多个名为DataNode的从节点负责存储和管理实际的数据块。 ## HDFS在大数据处理中的重要性 HDFS在大数据处理中扮演着重要的角色。...
hdfs优缺点
06-04
2. **快速数据恢复**：HDFS的设计使其能够在检测到节点故障时自动进行数据恢复操作，这极大地提高了系统的可用性。 #### 支持大数据处理框架 1. **与Hadoop的紧密集成**：HDFS作为Hadoop的核心组件之一，与Hadoop ...
HDFS故障类型和检测方法
09-15 1488
读数据时，namenode会返回所有datanode的位置，如果从某个datanode无法读数据，会跳过该datanode并选择其他datanode读数据。写数据未收到应答，会跳过该datanode,写入其他datanode,稍后等namenode处理此datanode。1.2 datanode 3秒 发送心跳信号，如果 namenode 未接收到心跳信号，datanode 挂。移除故障datanode,并指定其他datanode拷贝数据。未接受到应答则认为通讯故障。3.datanode故障。
HDFS如何探测数据错误及进行数据恢复
千里我独行
01-04 8045
HDFS数据错误分三种：名称节点错误、数据节点错误、数据块错误 1、数据节点错误 数据节点周期性发送心跳信息给名称节点，报告数据节点的状态信息。 当数据节点发生故障或者网络故障，名称节点无法收到数据节点的心跳信息，标记该数据节点为“宕机”，节点上的所有数据标记为不可读，名称节点不会像该数据节点发送如何I/O请求。 该数据节点上的数据块的副本数量小于冗余因子。名称节点周期检查这种情况，一旦...
Hadoop中datanode故障问题
很吵请安静
02-12 2897
当向datanode写数据的过程中发现datanode存在故障时，namenode会重新分配一个datanode个pipline进行写操作，这个datanode如果故障了，这上面的block没有了，其他datanode上还有这个block的备份，不过现在该block在系统中的总备份数为2,（坏了一个），下次hdfs使到该块时，会检测到该块的备份数为2，会重新备份让replication数达到3...
hadoop源码_hadoop源码解析之hdfs写数据全流程分析---datanode处理
weixin_39572316的博客
11-30 283
这些内容都是自己在工作和学习中的一些学习总结，如果大家觉得有帮助，原创不易，希望帮忙点个赞，由于笔者水平有限，也难免有错误，也请大家不吝赐教，同时也欢迎关注我的微信公众号：[大数据技术与应用实战]，一起成长概述因为在hdfs这样一个复杂的分布式文件系统中，每个文件都是由多个block组成的，每个block又有多个副本，这些副本分布在不同的机器上，所以对于hdfs的写操作流程，就算不考...
Hadoop——健康检测
hncscwc的博客
05-10 2149
【前言】通常后端服务都会设计自身的健康检测逻辑。所谓的健康检测，就是定期检测节点运行所必须的环境是否满足需求，如果不满足则拒绝提供服务。HDFS和YARN中涉及的各个服务也不例外，基本上...
hadoop源码解析之hdfs写数据全流程分析---datanode处理
公众号[大数据技术与应用实战]，分享大数据实战案例
07-15 2346
概述因为在hdfs这样一个复杂的分布式文件系统中，每个文件都是由多个block组成的，每个block又有多个副本，这些副本分布在不同的机器上，所以对于hdfs的写操作流程，就算不考虑异常的处理，其实该流程也是hdfs中最复杂的流程了。
HDFS巡检、监控、调优、排障
萌兔兔MMQ！！
03-25 5789
1、巡检 HDFS 为集群提供高可用性弹性存储服务，是集群的存储主体。 每日早晚巡检HDFS 服务，包括HDFS 服务可用性、存储使用率、datanode 是否有故障盘等。 1.1、HDFS 总体状态 ①HDFS 状态，如下的红色提示需要关注 ②HDFS 容量是否过阈值 1.2、HDFS UI 巡检 1.2.1、summary巡检 对应上图所示标号，逐一进行解释： （1）HDFS 总文件数：此数值代表着 HDFS 存储内有多少文件，该数值的警告阈值为 5000W （2）HDFS 总存储容量：此数值
【HDFS】写入过程中如果有DataNode掉线了会发生什么？
Badme
08-27 902
【HDFS】写入过程中如果有DataNode掉线了会发生什么？
HDFS数据完整性校验研究
breakout_alex的博客
06-03 1201
目录： 1.hdfs数据完整性介绍 2.hdfs数据完整性校验机制： 3.LocalFileSystem 一. hdfs数据完整性介绍： IO操作过程中难免会出现数据丢失或脏数据，数据传输得量越大出错得几率越高。校验错误最常用得办法就是传输前计算一个校验和，传输后计算一个校验和，两个校验和如果不相同就说明数据存在错误，比较常用得错误校验码是CRC32. 二. hdfs...
Hadoop HDFS：高吞吐量分布式文件系统
由于系统由大量低成本服务器组成，预期会出现硬件故障，因此HDFS具备检测和自动恢复机制。数据通过冗余存储来确保可靠性，通常采用副本策略，即一个文件会被复制到多个节点，以防单点故障。 2. 流式数据访问： ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值