Flume ng
文章平均质量分 84
chinalgf
这个作者很懒,什么都没留下…
展开
-
Flume ng 插入hbase性能测试
因为生产集群flume性能一直不佳,所以最近一直在研究flume ng。使用flume ng将日志文件处理后插入到hbase中,话不多说,直接上代码:配置文件:#Name the components on this agentagent1.sources = source1agent1.sinks = sink1agent1.channels = channel1age原创 2013-01-23 14:48:00 · 2343 阅读 · 1 评论 -
Flume-ng日志采集 安装 及部署 排错
1.安装,参考官方文档https://ccp.cloudera.com/display/CDH4DOC/Flume+Installation2.配置文档conf/flume-ng.conf:agent1.sources = log01agent1.sinks = hdfs01agent1.channels = momery01agent1.sources.log01原创 2012-11-28 16:17:10 · 2604 阅读 · 0 评论 -
Flume NG 插件自定义扩展开发
下面我们将以一个完整的流程为例来介绍flume-ng的开发过程。 一 简介 FlumeNG为flume的简化瘦身版,同时提出了新的概念。采集工具,包括source、sink、channel。(1) Source为工具读数据,包括读取的数据源路径、读取方式(2) Sink 为工具些数据,包括写入的数据源和写入方式(3) Channel为工具采集渠道,包括原创 2013-02-04 10:37:26 · 2617 阅读 · 5 评论 -
flume-ng总结/注意事项
1. 在客户端,使用flume-ng 的avro client传输过程中会丢数据,如$bin/flume-ng avro-client -H localhost -p 41414 -F /usr/logs/log.102. /bin目录下flume-ng启动脚本中的OPTS要设置的大一些,否则会报内存溢出的错误。默认是20m,如下:JAVA_OPTS="-Xmx20m"原创 2013-06-13 16:51:36 · 1503 阅读 · 0 评论 -
flume-ng负载均衡load-balance、failover集群搭建
集群采用3台机器:host1 load-balance设置host2 机器1host3 机器2其中,host1 机器配置:#Define a memory channel called c1 on a1a1.channels = c1a1.sources = r1a1.sinks = k1 k2a1.sinkgroups = g1a1.sinkgroup原创 2013-06-14 11:35:32 · 1899 阅读 · 1 评论 -
flume-ng扩展hdfsSink
代码:/** * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the NOTICE file * distributed with this work for additional information * r原创 2013-06-14 17:17:27 · 729 阅读 · 0 评论