flume
文章平均质量分 63
JackLi_csdn
这个作者很懒,什么都没留下…
展开
-
flume kafka错误
1、在flume日志中出现warn级别的errorError while fetching metadata with correlation id {} default-flume-topic=LEADER_NOT_AVAILABLE解决:先在kafka中创建topic原创 2019-10-30 15:26:26 · 195 阅读 · 0 评论 -
flume 高可用集群
https://blog.csdn.net/jinYwuM/article/details/82594618https://blog.csdn.net/aA518189/article/details/80888306原创 2019-10-26 19:35:02 · 145 阅读 · 0 评论 -
flume 选择器
让不同的项目日志通过不同的channel到不同的sink中去。Flume Channel Selectors使用https://blog.csdn.net/xiao_jun_0820/article/details/38116103原创 2019-10-04 19:59:31 · 376 阅读 · 0 评论 -
ganglia配置
1、安装 httpd 服务与 php sudo yum -y install httpd php2、安装其他依赖 sudo yum -y install rrdtool perl-rrdtool rrdtool-devel sudo yum -y install apr-devel3、安装gangliasudo rpm -Uvh http://dl.fedoraproject.or...原创 2019-10-04 19:55:53 · 262 阅读 · 0 评论 -
Ganglia
Ganglia集群监视项目,包括gmond、gmetad以及一个Web前端 Gmond :是一个守护进程,他运行在每一个需要监测的节点上,收集监测统计,发送和接受在同一个组播或单播通道上的统计信息 如果他是一个发送者(mute=no)他会收集基本指标,比如系统负载(load_one),CPU利用率。他同时也会发送用户通过添加C/Python模块来自定义的指标。 如果他是一个接收者(deaf=no)原创 2016-04-28 16:01:13 · 1558 阅读 · 0 评论 -
flume监控指标
source:EventReceivedCount:source端成功收到的event数量EventAcceptedCount:成功写出到channel的事件总数量channel:EventPutAttemptCount:Source尝试写入Channe的事件总次数EventPutSuccessCount:成功写入channel且提交的事件总次数EventTakeAttemptCoun...原创 2019-09-04 09:24:52 · 573 阅读 · 0 评论 -
flume kafka
Kafka Sink uses the topic and key properties from the FlumeEvent headers to send events to Kafka. If topic exists in the headers, the event will be sent to that specific topic, overriding the topic ...原创 2019-08-05 17:20:15 · 235 阅读 · 0 评论 -
flume搭建
tar -zxvf apache-flume-1.5.0-bin.tar.gz -C 路径 bin 目录下只有flume-ng conf 目录下有flume-conf.properties.template flume-env.sh.template log4j.properties 重命名 mv flume-env.sh.template flume-env.sh/etc/profile原创 2016-05-05 23:27:42 · 962 阅读 · 0 评论 -
Flume
Flume海量日志采集、聚合和传输的系统 Flume-Og Flume-Og采用了分层架构:分别为agent,collector和storage。其中,agent和collector均由两部分组成:source和sink,source是数据来源,sink是数据去向。storage是存储系统,可以是一个普通file,也可以是HDFS,HIVE,HBase,分布式存储等。 Master是管理协原创 2016-04-28 16:01:55 · 1138 阅读 · 0 评论 -
flume 拦截器
a4.sources.r1.interceptors = i1 i2a4.sources.r1.interceptors.i1.type = org.apache.flume.interceptor.TimestampInterceptor$Buildera4.sources.r1.interceptors.i2.type=hosta4.sources.r1.interceptors.i2.u原创 2016-05-27 14:36:03 · 369 阅读 · 0 评论