Flume
孙文旭
这个作者很懒,什么都没留下…
展开
-
Flume 配置安装
(1)上传解压(2)修改配置//修改配置文件名mv flume-env.sh.template flume-env.sh//指定linux jdk路径export JAVA_HOME=jdk绝对路径flume是把日志采集到hdfs中,所以flume需要知道hdfs在哪1)声明Hadoop_home为全局环境变量全局配置2)将core-site.xml和hdfs-site.x...原创 2019-07-15 22:08:21 · 168 阅读 · 0 评论 -
Flume 基本使用
配置参数#inita1.sources = s1a1.channels = c1a1.sinks = k1# sources#1、动态监控单个日志文件#a1.sources.s1.type = exec#a1.sources.s1.command=tail -F /opt/cdh5.7.6/hive-1.1.0-cdh5.7.6/logs/hive.log#a1.source...原创 2019-07-15 22:26:05 · 202 阅读 · 0 评论 -
Flume Interceptor
Interceptor概述拦截器可以拦截Event,允许或不允许Event通过,或在允许通过的时,改变Event内容,这种改变包括改变Event的体或头信息。拦截器可以手动开发,只要实现org.apache.flume.interceptor.Interceptor接口,在其中编写拦截规则即可。Flume也内置了很多拦截器,可以直接使用。可以同时配置多 个拦截器,依次拦截Event处理,...原创 2019-07-16 22:28:08 · 149 阅读 · 0 评论 -
Flume Selectors
Flume Channel SelectorsIf the type is not specified, then defaults to “replicating”.如果未指定类型,则默认为“复制”。Replicating Channel Selector (default)Required properties are in bold.Property NameDefaul...翻译 2019-07-16 22:34:46 · 186 阅读 · 0 评论 -
Flume Processors
Processor概述Processor是Flume用于实现失败恢复和负载均衡的组件。在企业级开发中,通常有多个客户端Agent来收集数据,发送给中心服务器Agent,中心服务器Agent要承载若干客户端Agent发送的数据,负载较高,且中心服务器Agent如果只有一个,会造成单节点故障风险。所以在企业级开发中,中心服务器Agent往往不止一个,由若干个协同工作,此时客户端Agent如何分...翻译 2019-07-16 22:49:46 · 562 阅读 · 0 评论