![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flume
文章平均质量分 53
某先生xxxx
服务端
展开
-
使用Flume Log4j Appender正确的姿势
使用Flume Log4j Appender正确的姿势我们使用Flume-ng的LoadBalancingLog4jAppender,将线上服务的日志实时传输到日志服务器,转交给告警系统和HDFS做存储。FLume的Log4j Appender必须使用Log4j的异步加载器,否则一旦日志服务器挂掉,将会导致应用服务器宕机。使用过程中的坑问题1: Flume Log4j使用异原创 2014-01-25 11:40:29 · 11169 阅读 · 1 评论 -
修改Flume Log4j Appender
自定义Log4j Appender要修改Flume Log4j Appender的实现,我们先了解一下Log4j Appender是如何自定义的。自定义log4j appender需要继承log4j公共的基类:AppenderSkeleton打印日志核心方法:abstract protected void append(LoggingEvent event);初始化原创 2014-01-25 12:06:40 · 3440 阅读 · 0 评论 -
Flume-ng ThriftSource原理分析
Thrift IDLFlume Thrift IDL在client包里面,定义如下:namespace java org.apache.flume.thriftstruct ThriftFlumeEvent { 1: required map string, string> headers, 2: required binary body,}enum Status {原创 2014-02-26 15:53:05 · 3901 阅读 · 0 评论 -
Flume C# Thrift客户端
Flume Thrift Source ThriftSouce.java 使用TCompactProtocol、TFastFramedTransport做协议传输层。而我们的DSF注册系统的Thrift使用TFramedTransport做传输层。翻看Thrift的API,看两个类的区别:```This transport is wire compatible with TFramed原创 2014-02-26 15:55:10 · 2720 阅读 · 0 评论 -
Flume-ng的HdfsSink出现Lease mismatch错误
多台Flume-ng Agent做HA,实际环境中出现Lease mismatch错误,具体报错如下:11 Mar 2014 12:21:02,971 WARN [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.sink.hdfs.HDFSEventSink.process:418) - HDFS IO e原创 2014-03-17 14:21:25 · 4406 阅读 · 0 评论 -
Flume-ng启动过程分析
Application.java入口函数main(): ... application.handleConfigurationEvent(configurationProvider.getConfiguration()); ... //根据配置,启动所有组件 application.start(); final Application ap原创 2014-03-26 17:28:03 · 3512 阅读 · 1 评论 -
Flume-ng出现HDFS IO error,Callable timed out异常
这两台flume-ng晚上9点~11点flume出现异常:25 Mar 2014 22:18:25,189 ERROR [hdfs-thrift_hdfsSink-roll-timer-0] (org.apache.flume.sink.hdfs.BucketWriter$2.call:257) - Unexpected errorjava.io.IOException: Callable原创 2014-03-26 15:09:43 · 9227 阅读 · 0 评论 -
HdfsSink原理解析
我们先了解几个概念:batchSize sink从channel中取batchSize数量的event才会flush,sync到hdfstransactionCapcity source在收集满transactionCapcity数量的event才会put到channel接着看一下类图:HDFSEventSinkHDFSEventSink,是我们在flume原创 2014-03-26 19:36:06 · 2414 阅读 · 0 评论 -
Flume数据传输事务分析
Flume数据传输事务分析本文基于ThriftSource,MemoryChannel,HdfsSink三个组件,对Flume数据传输的事务进行分析,如果使用的是其他组件,Flume事务具体的处理方式将会不同。一般情况下,用MemoryChannel就好了,我们公司用的就是这个,FileChannel速度慢,虽然提供日志级别的数据恢复,但是一般情况下,不断电MemoryChannel是不会原创 2014-09-30 14:59:48 · 11324 阅读 · 2 评论