ambari Metrics Collector 无法收集信息

最新推荐文章于 2024-06-25 09:37:41 发布
最新推荐文章于 2024-06-25 09:37:41 发布
阅读量3k 收藏 3
点赞数
分类专栏： 集群搭建 hbase metrics 文章标签： ambari-metrics   hbase hdp Table Namespace Manager not fu
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaofei2017/article/details/88743157
版权
集群搭建 同时被 3 个专栏收录
4 篇文章 0 订阅
订阅专栏
hbase
1 篇文章 0 订阅
订阅专栏
metrics
1 篇文章 0 订阅
订阅专栏

ambari 2.6.4

新装集群，发现每个组件的Metrics 是没有内容的

下图红框（已修复的）： 

之前都是No data no av.....

ambari-metrics-collector 依赖于hbase，收集的信息先保存在Hbase中，因为hbase没有安装，

安装hbase后，还是不行，重启hbase以及ambari-metrics 还是不行，查看日志，发现错误信息：

Table Namespace Manager not fully initialized, try again later

使用hbase shell，建表：create ‘t1’,'f1'

1、建表失败，可以查看日志找到处理方法，我使用的是进入zk 客户端删除hbase的znode

并删除hbase在hdfs的路径/apps/hbase，然后重启，建表 成功

2、建表成功，说明hbase没有问题，收集的信息放在hbase上市没有问题的，那么问题就是ambari-metrics的问题了，

在此进入ambari-metrics-collector的日志，错误依旧是Table Namespace Manager not fully initialized, try again later，

顿时束手无策，歇一会

后来瞄了下屏幕，发现新的错误：

（1）WARN org.apache.zookeeper.ClientCnxn: Session 0x169a43422df0001 for server null, unexpected error, closing socket connection and attempting reconnect
java.net.ConnectException: Connection refused
        at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)
        at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:717)
        at org.apache.zookeeper.ClientCnxnSocketNIO.doTransport(ClientCnxnSocketNIO.java:361)
        at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:1141)

（2）com.google.protobuf.ServiceException: java.net.ConnectException: Connection refused
        at org.apache.hadoop.hbase.ipc.AbstractRpcClient.callBlockingMethod(AbstractRpcClient.java:228)
        at org.apache.hadoop.hbase.ipc.AbstractRpcClient$BlockingRpcChannelImplementation.callBlockingMethod(AbstractRpcClient.java:292)
        at org.apache.hadoop.hbase.protobuf.generated.MasterProtos$MasterService$BlockingStub.isMasterRunning(MasterProtos.java:62896)
        at org.apache.hadoop.hbase.client.ConnectionManager$HConnectionImplementation$MasterServiceState.isMasterRunning(ConnectionManager.java:1465)
        at org.apache.hadoop.hbase.client.ConnectionManager$HConnectionImplementation.isKeepAliveMasterConnectedAndRunning(ConnectionManager.java:2146)
        at org.apache.hadoop.hbase.client.ConnectionManager$HConnectionImplementation.getKeepAliveMasterService(ConnectionManager.java:1728)
        at org.apache.hadoop.hbase.client.MasterCallable.prepare(MasterCallable.java:38)
        at org.apache.hadoop.hbase.client.RpcRetryingCaller.callWithRetries(RpcRetryingCaller.java:134)
        at org.apache.hadoop.hbase.client.HBaseAdmin.executeCallable(HBaseAdmin.java:4427)
        at org.apache.hadoop.hbase.client.HBaseAdmin.executeCallable(HBaseAdmin.java:4416)
        at org.apache.hadoop.hbase.client.HBaseAdmin.createTableAsyncV2(HBaseAdmin.java:752)
        at org.apache.hadoop.hbase.client.HBaseAdmin.createTable(HBaseAdmin.java:673)
        at org.apache.phoenix.query.ConnectionQueryServicesImpl.ensureTableCreated(ConnectionQueryServicesImpl.java:1065)
        at org.apache.phoenix.query.ConnectionQueryServicesImpl.createTable(ConnectionQueryServicesImpl.java:1418)
        at org.apache.phoenix.schema.MetaDataClient.createTableInternal(MetaDataClient.java:2190)
        at org.apache.phoenix.schema.MetaDataClient.createTable(MetaDataClient.java:872)
        at org.apache.phoenix.compile.CreateTableCompiler$2.execute(CreateTableCompiler.java:194)
        at org.apache.phoenix.jdbc.PhoenixStatement$2.call(PhoenixStatement.java:343)
        at org.apache.phoenix.jdbc.PhoenixStatement$2.call(PhoenixStatement.java:331)
        at org.apache.phoenix.call.CallRunner.run(CallRunner.java:53)
        at org.apache.phoenix.jdbc.PhoenixStatement.executeMutation(PhoenixStatement.java:330)
        at org.apache.phoenix.jdbc.PhoenixStatement.executeUpdate(PhoenixStatement.java:1421)
        at org.apache.phoenix.query.ConnectionQueryServicesImpl$13.call(ConnectionQueryServicesImpl.java:2382)
        at org.apache.phoenix.query.ConnectionQueryServicesImpl$13.call(ConnectionQueryServicesImpl.java:2330)
        at org.apache.phoenix.util.PhoenixContextExecutor.call(PhoenixContextExecutor.java:78)
        at org.apache.phoenix.query.ConnectionQueryServicesImpl.init(ConnectionQueryServicesImpl.java:2330)
        at org.apache.phoenix.jdbc.PhoenixDriver.getConnectionQueryServices(PhoenixDriver.java:237)
        at org.apache.phoenix.jdbc.PhoenixEmbeddedDriver.createConnection(PhoenixEmbeddedDriver.java:150)
        at org.apache.phoenix.jdbc.PhoenixDriver.connect(PhoenixDriver.java:205)
        at java.sql.DriverManager.getConnection(DriverManager.java:664)
        at java.sql.DriverManager.getConnection(DriverManager.java:270)

（3）ERROR org.apache.hadoop.hbase.zookeeper.ZooKeeperWatcher: hconnection-0x2cd2c8fe-0x169a43422df0010, quorum=cj-data3:61181, baseZNode=/ams-hbase-unsecure Received une
xpected KeeperException, re-throwing exception
org.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLoss for /ams-hbase-unsecure
        at org.apache.zookeeper.KeeperException.create(KeeperException.java:99)
        at org.apache.zookeeper.KeeperException.create(KeeperException.java:51)
        at org.apache.zookeeper.ZooKeeper.exists(ZooKeeper.java:1102)
        at org.apache.hadoop.hbase.zookeeper.RecoverableZooKeeper.exists(RecoverableZooKeeper.java:220)
        at org.apache.hadoop.hbase.zookeeper.ZKUtil.checkExists(ZKUtil.java:420)
        at org.apache.hadoop.hbase.client.ConnectionManager$HConnectionImplementation.checkIfBaseNodeAvailable(ConnectionManager.java:919)
        at org.apache.hadoop.hbase.client.ConnectionManager$HConnectionImplementation.access$400(ConnectionManager.java:557)
        at org.apache.hadoop.hbase.client.ConnectionManager$HConnectionImplementation$StubMaker.makeStubNoRetries(ConnectionManager.java:1510)
        at org.apache.hadoop.hbase.client.ConnectionManager$HConnectionImplementation$StubMaker.makeStub(ConnectionManager.java:1551)
        at org.apache.hadoop.hbase.client.ConnectionManager$HConnectionImplementation$MasterServiceStubMaker.makeStub(ConnectionManager.java:1580)
        at org.apache.hadoop.hbase.client.ConnectionManager$HConnectionImplementation.getKeepAliveMasterService(ConnectionManager.java:1731)
        at org.apache.hadoop.hbase.client.MasterCallable.prepare(MasterCallable.java:38)
        at org.apache.hadoop.hbase.client.RpcRetryingCaller.callWithRetries(RpcRetryingCaller.java:134)
        at org.apache.hadoop.hbase.client.HBaseAdmin.executeCallable(HBaseAdmin.java:4427)
        at org.apache.hadoop.hbase.client.HBaseAdmin.executeCallable(HBaseAdmin.java:4416)
        at org.apache.hadoop.hbase.client.HBaseAdmin.createTableAsyncV2(HBaseAdmin.java:752)
        at org.apache.hadoop.hbase.client.HBaseAdmin.createTable(HBaseAdmin.java:673)
        at org.apache.phoenix.query.ConnectionQueryServicesImpl.ensureTableCreated(ConnectionQueryServicesImpl.java:1065)
        at org.apache.phoenix.query.ConnectionQueryServicesImpl.createTable(ConnectionQueryServicesImpl.java:1418)
        at org.apache.phoenix.schema.MetaDataClient.createTableInternal(MetaDataClient.java:2190)
        at org.apache.phoenix.schema.MetaDataClient.createTable(MetaDataClient.java:872)
        at org.apache.phoenix.compile.CreateTableCompiler$2.execute(CreateTableCompiler.java:194)
        at org.apache.phoenix.jdbc.PhoenixStatement$2.call(PhoenixStatement.java:343)
        at org.apache.phoenix.jdbc.PhoenixStatement$2.call(PhoenixStatement.java:331)
        at org.apache.phoenix.call.CallRunner.run(CallRunner.java:53)
        at org.apache.phoenix.jdbc.PhoenixStatement.executeMutation(PhoenixStatement.java:330)
        at org.apache.phoenix.jdbc.PhoenixStatement.executeUpdate(PhoenixStatement.java:1421)
        at org.apache.phoenix.query.ConnectionQueryServicesImpl$13.call(ConnectionQueryServicesImpl.java:2382)
        at org.apache.phoenix.query.ConnectionQueryServicesImpl$13.call(ConnectionQueryServicesImpl.java:2330)
        at org.apache.phoenix.util.PhoenixContextExecutor.call(PhoenixContextExecutor.java:78)
        at org.apache.phoenix.query.ConnectionQueryServicesImpl.init(ConnectionQueryServicesImpl.java:2330)
        at org.apache.phoenix.jdbc.PhoenixDriver.getConnectionQueryServices(PhoenixDriver.java:237)
        at org.apache.phoenix.jdbc.PhoenixEmbeddedDriver.createConnection(PhoenixEmbeddedDriver.java:150)

 

重点在第三个，

org.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLoss for /ams-hbase-unsecure，

在ambari-metrics-collector的ams-hbase-size配置中：

 

在hbase中：

修改他们的值为一致， ambari-metrics-collector中的修改为/hbase-unsecure

重启metrics，建表成功，日志

2019-03-22 15:35:58,379 INFO org.apache.hadoop.hbase.client.HBaseAdmin: Created SYSTEM.CATALOG
2019-03-22 15:36:06,020 INFO org.apache.hadoop.hbase.client.HBaseAdmin: Created SYSTEM.SEQUENCE
2019-03-22 15:36:07,282 INFO org.apache.hadoop.hbase.client.HBaseAdmin: Created SYSTEM.STATS
2019-03-22 15:36:08,534 INFO org.apache.hadoop.hbase.client.HBaseAdmin: Created SYSTEM.FUNCTION
2019-03-22 15:36:09,791 INFO org.apache.hadoop.hbase.client.HBaseAdmin: Created METRICS_METADATA
2019-03-22 15:36:17,081 INFO org.apache.hadoop.hbase.client.HBaseAdmin: Created HOSTED_APPS_METADATA
2019-03-22 15:36:18,317 INFO org.apache.hadoop.hbase.client.HBaseAdmin: Created INSTANCE_HOST_METADATA
2019-03-22 15:36:19,568 INFO org.apache.hadoop.hbase.client.HBaseAdmin: Created CONTAINER_METRICS
2019-03-22 15:36:20,870 INFO org.apache.hadoop.hbase.client.HBaseAdmin: Created METRIC_RECORD
2019-03-22 15:36:22,118 INFO org.apache.hadoop.hbase.client.HBaseAdmin: Created METRIC_RECORD_MINUTE
2019-03-22 15:36:23,362 INFO org.apache.hadoop.hbase.client.HBaseAdmin: Created METRIC_RECORD_HOURLY
2019-03-22 15:36:24,601 INFO org.apache.hadoop.hbase.client.HBaseAdmin: Created METRIC_RECORD_DAILY
2019-03-22 15:36:25,838 INFO org.apache.hadoop.hbase.client.HBaseAdmin: Created METRIC_AGGREGATE
2019-03-22 15:36:27,078 INFO org.apache.hadoop.hbase.client.HBaseAdmin: Created METRIC_AGGREGATE_MINUTE
2019-03-22 15:36:28,314 INFO org.apache.hadoop.hbase.client.HBaseAdmin: Created METRIC_AGGREGATE_HOURLY
2019-03-22 15:36:29,552 INFO org.apache.hadoop.hbase.client.HBaseAdmin: Created METRIC_AGGREGATE_DAILY

 

...........

 

######################### Cluster HA state ########################
CLUSTER: ambari-metrics-cluster
RESOURCE: METRIC_AGGREGATORS
PARTITION: METRIC_AGGREGATORS_0         cj-data3_12001  ONLINE
PARTITION: METRIC_AGGREGATORS_1         cj-data3_12001  ONLINE
##################################################

 

 

这次错误之前是没有遇到的，原因可能是hbase安装在metrics之后，导致两个配置没有同步，事情处理之后才会发现原因很简单

 

一天两晒网
关注
专栏目录
ambari-metric-producer:测试程序以将指标发送到Ambari Metrics Collector
05-15
压制生产者测试程序以将指标发送到Ambari Metrics Collector快速开始 mvn clean installjava -jar target/amabri-metric-producer-1.0-SNAPSHOT.jar默认参数是： 指标收集器URL-度量标准数-100 度量之间的延迟-5000...
ambari metric架构及工作流程
岁月静好，做自己。
06-18 66
1、存储监控数据：Metrics Monitor/Sink，通过 POST 接口汇报监控数据，TimelineWebServices 根据收到的监控数据生成 SQL 语句，然后通过 Phoenix 把 SQL 转换为 HBase 的操作语句，把监控数据存储到 HBase 当中（原始监控数据都存储到 METRIC_RECORD 表中）。HBase：存储监控数据的地方，HBase 有两种工作模式：Embedded Mode，单机模式，数据存储在本地文件系统中；
Ambari的Metrics Collector启动后自动关闭的解决
徐小慧_Blog的博客
08-30 2024
在使用Ambari的时候，由于种种原因，难免会出现这样那样的问题。今天，我们就来看一下Ambari-Metrics启动成功几秒钟后又自动关闭的解决办法。 1.如下图，某一节点Metrics Collector 启动后自动关闭 2.在安装Ambari-Metircs的机器上面查看服务是否关闭：使用ambari-metrics-monitor status和ambari-metrics-collector status命令查看。可以看到ambari-metrics-collector是停止状态。 3.如果服
Ambari源码分析之Collector模块分析
JacksonKing的专栏
04-23 1056
Ambari源码分析之Collector模块分析 目录 Ambari源码分析之Collector模块分析 1、Collector介绍 2、metrics collector和metrics system区别 3、Ambari-Metrics代码结构介绍 4、ambari的metrics collector创建流程 4.1、配置TimelineMetric端口 4.2...
Ambari Metrics Collector 架构
weixin_34303897的博客
04-28 354
Metrics Collector 架构图，由图中看，主要有4部分：TimelineWebServices：是一个Web服务，一方面提供 Metrics Monitor 和 Metrics Sink 汇报监控数据的 POST 接口；另一方面提供 Ambari Server 查询监控数据的 GET 接口。TimelineMetricStore：周期性聚合数据。Phoenix：是一个开源工具库，可...
jmeter插件PerfMon Metrics Collector安装与使用
罗小黑の窝
03-16 4469
PerfMon Metrics Collector即服务器性能监控数据采集器。在性能测试过程中，除了监控TPS和TRT，还需要监控服务器的资源使用情况，比如CPU、memory、I/O等。该插件可以在性能测试中实时监控服务器的各项资源使用。 下载地址：https://jmeter-plugins.org/downloads/old/ 下载页面如下...
Jmeter插件PerfMon Metrics Collector安装使用及报错解决
软件自动化测试技术交流、资源分享
02-15 1905
Jmeter作为一个轻量级的性能测试工具，开源、小巧、灵活的特性使其越来越受到测试人员喜爱。在实际的项目中，特别是跨地区项目，排除合作方指定要求使用Loadrunner作为性能测试工具外，Jmeter会是首选。
大数据HDPAmbariambari-metrics-collector-2.7.7.0-0.x86-64.rpm
11-03
[大数据][HDP][Ambari][2.7.7]ambari-metrics-collector-2.7.7.0-0.x86_64.rpm ...ambari-metrics-collector是用于管理收集群集节点的指标的代理器。详细安装步骤参考https://github.com/apache/ambari/
大数据HDPAmbari2.7.7ambari-server-2.7.7.0-0.x86-64.rpm
11-03
[大数据][HDP][Ambari][2.7.7]ambari-server-2.7.7.0-0.x86_64.rpm ambari的server端。 Apache Ambari 是一个用于配置、管理和监控 Apache Hadoop 集群的工具。Ambari 由一组 RESTful API 和一个基于浏览器的管理...
AmbariMetrics详解.docx
01-14
Ambari Metrics System（AMS）是Ambari中的核心组件，主要用于收集、聚合和展示集群的性能指标。AMS的设计目标是提供一个直观且可扩展的监控解决方案，帮助系统管理员有效地监控和诊断集群的健康状况。 Ambari ...
ambari:MongoDB 与 Apache Ambari 的集成
07-05
5. **实现监控指标**: 为了让 Ambari 监控 MongoDB 的健康状态和性能，你需要编写定制的 Metrics Collector 和 Metrics Publisher。这些组件收集 MongoDB 的指标，如内存使用、I/O 操作和查询性能，并将它们发送到 ...
Ambari Metrics 服务器详解
GnabVue的博客
10-02 252
它使用 Apache Hadoop 的 Hadoop Metrics2 框架来收集和汇总指标数据，并提供 RESTful API 和 Web 用户界面，以便用户可以方便地查看和分析指标数据。通过配置和启动 Metrics 服务器，并使用提供的 API 和界面，管理员和开发人员可以方便地收集、存储和分析集群的指标数据，以便及时发现和解决潜在的性能问题。它提供了一个完整的解决方案，用于收集、存储和可视化集群的性能指标，以便帮助管理员和开发人员监控集群的健康状况和性能。如果你有任何进一步的问题，请随时提问。
Ambari Metrics(相关API,底层数据库，widget等）
随心的专栏
08-21 4330
Ambari Metrics系统（AMS）是用来收集、聚合Hadoop集群中监控信息的。 功能 能够收集Hadoop及其他Ambari Stacks服务里的Metrics信息； 有一定的存储能力，能够将高精度的Metrics信息保存一段时间（例如能够保存5天内的Metrics信息，时间可配置）； 能够将过期的Metrics信息自动清理掉； 在collection time,...
远程调试ambari-metrics的方法
在路上的学习者
12-30 2354
IDE：intellij在ambari-metrics-collector上找到start的运行脚本，再找到启动ambari-metrics-collector的java命令：vi /var/lib/ambari-agent/cache/common-services/AMBARI_METRICS/0.1.0/package/scripts/metrics_collector.py 发现是执行 /u
ambari collector 服务故障处理
weixin_43697701的博客
10-28 931
日志：ambari-metrics-collector.log 1. 停止metrics所有服务 2. 每台collector服务器上运行ps -ef |grep hbase-ams，确保无进程运行（如果有先kill掉） 3. 删除zookeeper中对应路径，zookeeper-client rmr /ams-hbase-unsecure (路径为metrics配置中“znode parent”的值) 4. 删除hdfs上目录，hdfs dfs -rm -R /user/ams/hbase（路径为metr
Ambari监控Metrics Collector启动不了问题
周源的专栏
03-14 6974
日志报错如下：2018-03-14 10:14:51,447 INFO  [SyncThread:0] server.ZooKeeperServer: Established session 0x162224871e30009 with negotiated timeout 120000 for client /172.16.76.9:526382018-03-14 10:15:02,114 WA...
使用指标收集器：Usage Metrics Collector
最新发布
gitblog_00054的博客
06-25 408
使用指标收集器：Usage Metrics Collector usage-metrics-collectorHigh fidelity and scalable capacity and usage metrics for Kubernetes clusters项目地址:https://gitcode.com/gh_mirrors/us/usage-metrics-collector 项目介绍...
【Ambari】ambari metrics 启动报错hbase-xxx-master.pid doesn‘t exist
人生所向，皆是美好
03-25 3675
文章目录问题描述解决办法 问题描述 在ambari启动ambari-metrics总是报错：resource_management.core.exceptions.Fail: Pid file /var/run/ambari-metrics-collector//hbase-ocdp-master.pid doesn't exist after starting of the component....
Ambari Metrics Collector 宕机问题处理
群演老何，代码为生
05-18 3709
今天收到现场 Ambari Metrics 宕机问题。 由于 Ambari Metrics 存储的是集群运行情况信息，在当前集群运行良好情况下，不是特别重要；所以我们采取删除重建的方式修复。以下为主要步骤: 1. 删除 Ambari Metrics 元数据 Ambari Metrics 使用 hbase 存储数据。hbase 元数据存储在 zookeeper 上。 查看 ams-hbase...
如何利用ambari metrics集成zookeeper指标
05-18
5. 配置zookeeper服务以在Ambari Metrics收集器中公开指标。要执行此操作，请转到“服务”选项卡，选择zookeeper服务，然后单击“配置”选项卡。在“高级zookeeper-env”中，找到“zookeeper_jmx_port”属性并将其...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一天两晒网

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值