日志采集
Ancony_
这个作者很懒,什么都没留下…
展开
-
【Flume-1.8.0】Flume概要
1 Flume概述Flume是一种分布式(distributed),可靠(reliable)且可用(available)的服务,用于高效地收集,汇总和移动大量日志数据。它具有基于流式数据流的简单而灵活的架构。它有可靠性机制和许多故障转移和恢复机制,具有强大的容错性和容错能力。它使用一个简单的可扩展数据模型,允许在线分析应用程序。 Apache Flume 1.8.0是Flume作为Apache顶级...原创 2018-03-31 17:29:05 · 570 阅读 · 0 评论 -
【Flume-1.8.0】Flume配置相关
4 Flume的配置4.1在配置文件中使用环境变量Flume可以在配置文件中使用环境变量:a1.sources = r1 a1.sources.r1.type = netcat a1.sources.r1.bind = 0.0.0.0 a1.sources.r1.port = $ {NC_PORT} a1.sources.r1.channels = c1注意:只适用于value,不适用于key。也...原创 2018-04-01 01:49:26 · 671 阅读 · 0 评论 -
【Flume-1.8.0】Flume配置详解
4.6合并流日志收集中很常见的情况是大量日志生成客户端将数据发送到连接到存储子系统的少数客户代理。例如,从数百个Web服务器收集的日志发送给十几个写入HDFS集群的代理。 Flume可以通过配置多个第一层代理和一个avro sink来实现这一点,所有代理都指向单一代理的avro source(同样,您可以在...原创 2018-04-03 01:00:58 · 2616 阅读 · 0 评论 -
【Flume-1.8.0】Flume的序列化器、通道选择器、sink处理器以及拦截器
5 event的Serializerfile_roll sink和HDFS sink都支持EventSerializer接口。下面提供了Flume附带的EventSerializer的详细信息。1、Body文本序列化器该序列化器的别名为text。该拦截器(interceptor)将事件的主体(Body)写入输出流,而不进行任何转换或修改。事件header被忽略。配置选项如下:属性名称默认值描述ap...原创 2018-04-05 01:02:58 · 3291 阅读 · 0 评论 -
跨平台多级Flume的部署
监控Windows平台下面文件的变化,然后将其搜集到Liunx中进行统一处理.一个简单的示意图如下:如果想达到这样的目的.Flume对Source和Sink的配置是有要求的.如图,位于Windows上面的Flume Agent的Sink必须为avro或者thrift中的一种.位于CentOS上面的Flume Agent的Source必须为avro或者thrift中的一种.同时,如果使用avro,那...原创 2018-06-21 19:27:16 · 1005 阅读 · 0 评论 -
Flume自定义组件之SqlServer Sink
自定义的sink需要继承Flume的AbstractSink类,最好实现Configurable接口,实现了该接口以后,自定义组件中的一些参数就可以通过在配置文件中实现。process方法定义了事件的处理逻辑。configure方法用于获取组件的自定参数。可以配置的参数的值都通过该方法来获取。不需要配置的参数,但是又必须的参数可以以实例成员变量的方式给出。通过这种灵活的手段,可以设置一些既可以让用...原创 2018-06-21 20:35:06 · 1527 阅读 · 0 评论