Ambari Metrics Collector 宕机问题处理

今天收到现场 Ambari Metrics 宕机问题。

由于 Ambari Metrics 存储的是集群运行情况信息，在当前集群运行良好情况下，不是特别重要；所以我们采取删除重建的方式修复。以下为主要步骤:

1. 删除 Ambari Metrics 元数据

Ambari Metrics 使用 hbase 存储数据。hbase 元数据存储在 zookeeper 上。

查看 ams-hbase-site 配置 zookeeper.znode.parent 项，确定其元数据存储路径，然后使用zkClient进行删除。

2. 删除 Ambari Metrics 历史数据

 

Ambari Metrics 使用 hbase 存储数据。hbase 数据存储在本地目录(单节点)或hdfs中(高可用)。

查看 ams-hbase-site 配置 hbase.rootdir 项，确定数据存储路径，使用命令行进行删除。

 

3. 删除 Ambari Metrics 临时文件

Ambari Metrics 临时文件包含:

a. Aggregator checkpoint 目录：配置在 Metrics Collector 的 Aggregator checkpoint directory 项中。

b. hbase 本地文件：配置在 ams-hbase-site 的 hbase.local.dir 项中。

c. phoenix spool 目录：配置在 ams-hbase-site 的 phoenix.spool.directory 项中。

通常这些文件存在于 同一个临时目录 (ams-hbase-site 的 hbase.tmp.dir 项)下，可进行统一删除。

如果 Ambari Metrics 采用高可用安装，需要在各个节点分别删除。

 

删除以上内容后，重新启动 Ambari Metrics Collector 服务。Ambari Metrics Collector 会重新创建所有所有元数据，然后运行。