Flume 监控之测试 Ganglia

最新推荐文章于 2023-05-28 22:40:01 发布
最新推荐文章于 2023-05-28 22:40:01 发布
阅读量2.4w 收藏 2
点赞数
分类专栏： Flume 文章标签： Flume Flume监控
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yljphp/article/details/90347668
版权

配置修改

修改/opt/module/flume-1.7.0/conf目录下的flume-env.sh配置

JAVA_OPTS="-Dflume.monitoring.type=ganglia
-Dflume.monitoring.hosts=192.168.9.102:8649
-Xms100m
-Xmx200m"

-w568

启动flume任务

bin/flume-ng agent \
--conf conf/ \
--name a1 \
--conf-file job/flume-telnet-logger.conf \
-Dflume.root.logger==INFO,console \
-Dflume.monitoring.type=ganglia \
-Dflume.monitoring.hosts=192.168.2.102:8649

发送数据观察ganglia监测图

telnet localhost 44444

-w1418
-w1411

字段（图表名称）字段含义
EventPutAttemptCountsource尝试写入channel的事件总数量
EventPutSuccessCount成功写入channel且提交的事件总数量
EventTakeAttemptCountsink尝试从channel拉取事件的总数量。这不意味着每次事件都被返回，因为sink拉取的时候channel可能没有任何数据。
EventTakeSuccessCountsink成功读取的事件的总数量
StartTimechannel启动的时间（毫秒）
StopTimechannel停止的时间（毫秒）
ChannelSize目前channel中事件的总数量
ChannelFillPercentagechannel占用百分比
ChannelCapacitychannel的容量
yljphp
关注
专栏目录
flume之集群监控 Ganglia 部署配置
xnby的专栏
04-14 3772
flume支持http，ganglia，custom监控模式 http很简单，就是开放一个端口可以通过http请求拿取当前agent的各项数据 ganglia是一个开源的集群监控解决方案，自带统计，web展现 custom就是自定义方案了。 当然为了图省事，少弄些web画图之类用ganglia就可以了 这里给下最后的效果图： 效果就是这么丑丑的 但是够用了
Ganglia 集群监控软件
09-18 430
Ganglia 是一个开源项目，它为高性能计算系统（例如集群和网格）提供了一个免费的可扩展分布式监视系统。name = "my servers" （只改了这个地方，改成"my cluster”)在浏览器输入”http://localhost/ganglia”就可以看到Web UI。Ganglia是一个集群监控软件。
Flume监控之Ganglia
ITBOY_ITBOX博客
05-14 1520
Ganglia的安装与部署 1) 安装httpd服务与php [atguigu@hadoop102 flume]$ sudo yum -y install httpd php 2)安装其他依赖 [atguigu@hadoop102 flume]$ sudo yum -y install rrdtool perl-rrdtool rrdtool-devel [atguigu@hado...
Flume监控 Monitor
潇洒人生的博客
07-10 547
Flume监控 Monitor
Flume 监控之 Ganglia 的安装与部署
热门推荐
小杨的技术博客
05-19 2万+
安装httpd服务与php sudo yum -y install httpd php 安装其他依赖 sudo yum -y install rrdtool perl-rrdtool rrdtool-devel sudo yum -y install apr-devel 安装ganglia sudo rpm -Uvh http://dl.fedoraproject.org/pub/epel/6...
Flume【部署 02】Flume监控工具Ganglia的安装与配置（CentOS 7.5 在线安装系统监控工具Ganglia + 权限问题处理 + Flume接入监控配置 + 图例说明）
シ風
08-25 819
Flume【部署 02】Flume监控工具Ganglia的安装与配置（CentOS 7.5 在线安装系统监控工具Ganglia + 权限问题处理 + Flume接入监控配置 + 图例说明）
Flume监控软件——Ganglia安装与部署
wainageren的博客
03-19 3486
一、Ganglia安装 1.1 三台机器安装epel源 [usr@node01 flume]$ sudo yum install -y epel-release [usr@node02 flume]$ sudo yum install -y epel-release [usr@node03 flume]$ sudo yum install -y epel-release 1.2 在node01安装web,meta和monitor [usr@node01 flume]$ sudo
Flume系列：Flume数据监控Ganglia
wester的博客
05-28 1671
系统环境：centos7Java环境：Java8。
hadoop框架之flume总结及监控Ganglia整合
qq_32656857的博客
12-26 292
Flume 一、Flume简介 1) Flume 提供一个分布式的，可靠的，对大数据量的日志进行高效收集、聚集、移动的服务， Flume 只能在 Unix 环境下运行。 2) Flume 基于流式架构，容错性强，也很灵活简单。 3) Flume、Kafka 用来实时进行数据收集，Spark、Storm 用来实时处理数据，impala 用来实 时查询。 二、Flume角色 Source ...
Flume数据流监控：Ganglia的安装与部署
m0_46589706的博客
06-10 261
序：软件版本 VMware：VMware-15.5.1 Linux：CentOS-7.5-x86_64 JDK:jdk-8u212-linux-x64 Hadoop：hadoop-3.1.3 Flume：Flume 1.9.0 目录 1、Ganglia的安装与部署 1.1 安装ganglia 1.2、在102修改配置文件/etc/httpd/conf.d/ganglia.conf 1.3、在102修改配置文件/etc/ganglia/gmetad.conf 1.4、在102 103 10
大数据技术之_09_Flume学习_Flume概述+Flume快速入门+Flume企业开发案例+Flume监控之Ganglia+Flume高级之自定义MySQLSource+Flume企业真实面试题
黑泽君
03-04 1226
大数据技术之_09_Flume学习_Flume概述+Flume快速入门+Flume企业开发案例+Flume监控之Ganglia+Flume高级之自定义MySQLSource+Flume企业真实面试题
Flume集群环境搭建，flume监控
01-13
flume集群环境搭建，详细讲解，图文并茂，包括flume信息监控和众多文章链接
storm、kafka、flume性能测试
08-16
storm、kafka、flume性能测试相关收集
四, 通过Ganglia实现监控Flume数据流
菜菜的大数据开发の路
10-04 513
一, 什么是Ganglia ? Ganglia是UC Berkeley发起的一个开源集群监视项目，设计用于测量数以千计的节点。Ganglia的核心包含gmond、gmetad以及一个Web前端。主要是用来监控系统性能，如：cpu 、mem、硬盘利用率，I/O负载、网络流量情况等，通过曲线很容易见到每个节点的工作状态，对合理调整、分配系统资源，提高系统整体性能起到重要作用。 二, Ganglia 的安装和部署 对分布式集群的安装前规划 主机 要安装的内容 bigdata01 web客
Flume 监控之Ganglia
程序员学习圈
09-21 850
1.Ganglia的安装与部署 (1) 安装httpd服务与php     [luomk@hadoop102 flume]$ sudo yum -y install httpd php (2) 安装其他依赖     [luomk@hadoop102 flume]$ sudo yum -y install rrdtool perl-rrdtool rrdtool-devel     [lu...
ganglia安装 flume监控
iteye_2186的博客
11-05 274
两台机器   192.168.147.72  gmetad gweb 192.168.150.140 gmond   ==========安装【gmetad】机器==========   #查看EPEL源 rpm -qa | grep epel   #如果没有安装EPEL源 rpm -Uvh http://dl.fedoraproject.org/pub/epel/6/i...
大数据之 Flume 安装部署完整使用 (第二章)
小坏说后端
10-09 636
大数据之 Flume 安装部署完整使用一、Flume 安装部署1、安装地址2、安装部署二、Flume 入门案例1、监控端口数据官方案例1）案例需求2）需求分析3）实现步骤1、安装 netcat 工具2、判断 44444 端口是否被占用3、创建 Flume Agent 配置文件 flume-netcat-logger.conf4、在 flume 目录下创建 job 文件夹并进入 job 文件夹。5、在 job 文件夹下创建 Flume Agent 配置文件 flume-netcat-logger.conf6、
Flume笔记二：案例
qq_47932841的博客
08-25 428
案例一： 复制和多路复用 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-eMUIIsHM-1598360531912)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1598353568861.png)] vim a1.conf //第一道flume #各个组件命名 a1.sources = r1 a1.channels = c1 c2 a1.sinks = k1 k2 #Source a
ubuntu使用flume监控文件
最新发布
10-28
在Ubuntu上使用Flume监控文件通常是为了收集日志数据并将其传输到其他系统，如Hadoop HDFS或Apache Kafka。以下是基本步骤： 1. 安装Flume：首先，你需要安装Flume。在终端输入以下命令（假设使用的是apt包管理器）...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值