Flume
钛合金编程
静以修身,俭以养德!The greatest thing is, at any moment, to be willing to give up who we are in order to become all that we can be.
展开
-
Flume客户端flume-ng-log4jappender 负载平衡(LoadBalancingLog4jAppender)
主机DNS配置:192.168.177.167 machine-1192.168.177.168 machine-2192.168.177.158 machine-0192.168.177.174 hadoop-master hbase-master hadoop-maser 和machine-2当主机,其它太机当做collector机,存储在HDFS中。原创 2014-03-11 23:17:02 · 3234 阅读 · 0 评论 -
Flume 中Sink批量参数设置调优
在Flume 配置中,Sink的参数batchSize会影响到整个流程的性能。比如说HDFS sink,它的参数称作hdfs.batchSize,这样称呼是由于历史的原因,建议使用hdfs.txnEvenMax。 在sink端调优批量值设置,它依赖于相应的隧道(channel)的事务容量。sink端的批量大小应该小于或者等于channel端的事务容量,而事务容量应该设置为实际需要的最大值(原创 2014-03-09 22:59:43 · 6644 阅读 · 0 评论 -
Flume 中文件channel VS 内存channel (File Channel VS Memory Channel)
当设计Flume数据流程图时,决定使用什么类型的channel将是至关重要的。在写这篇文章是,当前有几个channel可供选择,分别是Memory Channel, JDBC Channel , File Channel,Psuedo Transaction Channel。比较常见的是前三种channel。具体使用那种channel,需要根据具体的使用场景。这里我详细讲解File Channel原创 2014-03-10 13:53:12 · 9603 阅读 · 1 评论 -
Flume 负载平衡配置(Flume load balancing configuration)和测试
2.1 Flume配置集群DNS配置如下:hadoop-maser 192.168.177.162machine-0192.168.177.158machine-1191.168.177.167配置主Flume,在hadoop-maser机上。配置文件为loadbalance.properties。agent.sources=s1agent.channels=c1a原创 2014-03-10 15:55:34 · 2828 阅读 · 1 评论 -
Flume安装和配置
1 准备Flume-ng到flume官网下载最新稳定版本的flume-ng,目前的版本是1.4.0。下载地址:http://mirrors.hust.edu.cn/apache/flume/1.4.0/apache-flume-1.4.0-bin.tar.gz 下载后,解压说文件。tar –xvf apache-flume-1.4.0-bin.tar.gz//重命名原创 2014-03-24 11:33:33 · 2299 阅读 · 0 评论 -
log4j:ERROR Flume append() failed.(flume-ng-log4jappender-1.4.0.jar bug)
日志出现“log4j:ERROR Flume append() failed.”,发现flume-ng-log4jappender-1.4.0有一个bug。详细,请查阅:https://issues.apache.org/jira/browse/FLUME-2186。 解决方法:修改flume-ng-log4jappender中的append方法。修改为: @Override原创 2014-04-23 15:07:24 · 4548 阅读 · 1 评论 -
Flume-ng 1.4 运行抛出“line 81: syntax error in conditional expression: unexpected token `('”
运行flume-ng 命令时,抛出异常:line 81: syntax error in conditional expression: unexpected token `(' 解决方法: 需要修改flume-ng脚本中代码,bash对正则表达式解析错误引起的。可以按照下面步骤修改:在81行下, 正则表达式用双引号包含,修改为:if [[ $line =原创 2014-04-08 14:04:22 · 4645 阅读 · 0 评论