HDFS 运行状况检测

HDFS Canary

这是HDFS 服务范围(service-wide)运行状况(Healthy)检测,检查基本的客户端操作和操作完成是否在合理的时间内;

此测试报告周期运行"canary"测试的结果,按以下顺序操作

• 创建文件,默认路径/tmp/.cloudera_health_monitoring_canary_timestamp
• canary测试会往文件里写入一些数据,然后读取这些数据并验证数据准确性
• 最后,删除创建的文件

如果以上操作有一个失败,检测返回"Bad";
如果操作运行很慢,返回"Concerning";

此运行状况检测有报警,表明集群无法正确或及时响应客户端请求;
检查NameNode的状态和其他服务范围的运行状况检测;
检查canary检测的日志,是写到Service Monitor日志的;
检查NameNode日志,查看关于canary检测发出请求的详细情况;

此检测,可以在HDFS(服务范围)->监控设置里,勾选"HDFS Canary 运行状况检查(HDFS Canary Health Check)"开启或关闭;

简写: HDFS Canary

属性名	描述	模板名	默认值	单位
HDFS Canary Health Check	是否开启运行状况检测	hdfs_canary_health_enabled	true	无

HDFS 损坏块(HDFS Corrupt Blocks)

这是HDFS 服务范围(service-wide)运行状况检测,检查损坏块(corrupt blocks)的数量占集群总数据块的比值是否超过某个值;

HDFS的损坏块,是指块里至少有一个故障的副本和一个可用的副本;所以,损坏块不代表数据不可用,但是标示着不可用的风险增高;

如果块里没有可用的副本,这个块在HDFS里称为丢失块(missing block);
HDFS会在后台自动修复损坏块;

此运行状况检查失败标示着底层存储或DataNode所在的系统可能有问题;

使用HDFS的fsck命令确认是哪个文件包含损坏块;

此检测,可通过HDFS(服务范围)->监控设置里,设置"具备损坏副本的块监控阈值(Blocks With Corrupt Replicas Monitoring Thresholds )";

简写: Corrupt Blocks

属性名	描述	模板名	默认值	单位
Blocks With Corrupt Replicas Monitoring Thresholds	损坏块占总块数的比值	hdfs_blocks_with_corrupt_replicas_thresholds	严重:1.0, 警告:0.5	百分比

HDFS DataNode运行状况(HDFS DataNode Health)

这是HDFS 服务范围(service-wide)运行状况检测,检查集群里是否有足够多的良好运行状况的DataNodes;
如果"良好运行状况"的DataNodes数量占总DataNodes数量的比值,低于警告阈值,检测返回"Concerning";
如果低于严重阈值,检测返回"Bad";

例如,检测配置为警告阈值为95%,严重阈值为90%,集群共有100个DataNodes;如果有95个DataNodes是"良好运行状况"的,检测返回"Good";如果有90个是"良好运行状况",返回"Concerning";如果有10个是"不良运行状况",检测返回"Bad";

此检测有报警,标示着DataNodes是"不良运行状况";要进一步检查每个DataNode的状态;

此检测,可通过HDFS(服务范围)->监控设置里,设置"运行状况 DataNode 监控阈值(Healthy DataNode Monitoring Thresholds)"

简写: DataNode Health

属性名	报警名	模板名	默认值	单位
Healthy DataNode Monitoring Thresholds	HDFS_DATA_NODES_HEALTHY	hdfs_datanodes_healthy_thresholds	严重:90.0, 警告:95.0	百分比

HDFS Failover Controller 运行状况(HDFS Failover Controllers Health)

这是HDFS 服务范围(service-wide)运行状况检测,检查此服务带有的所有Failover Controller(故障转移控制器)的运行状况;

如果此服务带有的Failover Controller,任一没有运行或运行状况不良,检测返回"Bad";
要检查Failover Controller的日志;

此检测,可通过HDFS(服务范围)->监控设置里,勾选"Failover Controller 运行状况(Failover Controllers Healthy)"开启或关闭;

简写: Failover Controllers Health

属性名	描述	模板名	默认值	单位
Failover Controllers Healthy	是否开启Failover Controller 运行状况检测	failover_controllers_healthy_enabled	true	无

HDFS 可用空间(HDFS Free Space)

这是HDFS 服务范围(service-wide)运行状况检测,检查HDFS集群的可用空间不低于某个百分比;

此检测有报警,标示着容量规划问题,或DataNoes的不可用;如果HDFS元数据更新没完成,也会降低可用空间;

此检测,可通过HDFS(服务范围)->监控设置里,设置"HDFS 可用空间监控阈值(HDFS Free Space Monitoring Thresholds)";

简写: Free Space

属性名	描述	模板名	默认值	单位
HDFS Free Space Monitoring Thresholds	可用空间占HDFS总容量的比值	hdfs_free_space_thresholds	严重:10.0, 警告:20.0	百分比

HDFS 丢失块(HDFS Missing Blocks)

这是HDFS 服务范围(service-wide)运行状况检测,检查丢失块和集群总块数的比值不大于某个值;

丢失块,即是没有可用复本的块;所有副本都丢失和损坏;
可能的原因是: 损坏;DataNodes离线;DataNodes停止使用;

此检测有报警,标示着一次损失了多个DataNodes;
如果集群存储文件的复制因子为1,当DataNode损失或故障时,可能看到丢失块;

使用HDFS fsck命令,确认哪个文件包含丢失块;

此检测,可通过HDFS(服务范围)->监控设置里,设置"丢失块监控阈值(Missing Block Monitoring Thresholds)";

简写: Missing Blocks

属性名	描述	模板名	默认值	单位
Missing Block Monitoring Thresholds	检测丢失块阈值	hdfs_missing_blocks_thresholds	严重:any,警告:never	百分比

HDFS NameNode运行状况(HDFS NameNode Health)

这是HDFS 服务范围(service-wide)运行状况检测,检查NameNode的运行状况;
如果服务运行,但是没有找到活动的NameNode,返回"Bad";
如果找到活动的NameNode,就检测NameNode的运行状况和备用NameNode的运行状况;

如果NameNode和备用NameNode都活动并运行良好,返回"Good";

此检测有报警,标示着NameNode角色停止或运行不良,或者是Cloudera Manager Service Monitor和NameNodes的网络通信有问题;

查看HDFS服务NameNode角色的状态,并查看Cloudera Manager Service Monitor的日志文件;

此检测,可通过HDFS(服务范围)->监控设置里,勾选"活动 NameNode 角色运行状况检查(Active NameNode Role Health Check)“和"备用 NameNode 运行状况检查(Standby NameNode Health Check)”;

额外的,可以设置"活动 NameNode 检测时段(Active NameNode Detection Window)",调整Cloudera Manager Service Monitor在发出告警前,检测活动NameNoe的总时间;

也可设置"NameNode 激活启动容差(NameNode Activation Startup Tolerance)",调整NameNodes启动并标记为活动的总时间;用于自动故障转移程序标识NameNode活动,或让特定的故障转移命令生效;

简写: NameNode Health

属性名	模板名	默认值	单位
Active NameNode Detection Window	hdfs_active_namenode_detecton_window	3	分钟
Active NameNode Role Health Check	hdfs_namenode_health_enabled	true	无
NameNode Activation Startup Tolerance	hdfs_namenode_activation_startup_tolerance	180	秒
Standby NameNode Health Check	hdfs_standby_namenodes_health_enabled	true	无

HDFS 副本不足块(HDFS Under-Replicated Blocks)

这是HDFS 服务范围(service-wide)运行状况检测,检查副本不足块和集群总块数的比值不大于某个值;
此检测有报警,标示着DataNode的损失;

使用HDFS fsck命令确认是哪个文件包含了副本不足块;

此检测,可通过HDFS(服务范围)->监控设置里,设置"副本不足的块监控阈值(Under-replicated Block Monitoring Thresholds)";

简写: Under-Replicated Blocks

属性名	模板名	默认值	单位
Under-replicated Block Monitoring Thresholds	hdfs_under_replicated_blocks_thresholds	严重:40.0,警告:10.0	百分比