Flume
文章平均质量分 61
码上行动、
这个作者很懒,什么都没留下…
展开
-
Flume中Source丶Channel和Sink的使用场景及使用方法
Flume SourcesAvro Source:监听Avro端口,接受从外部Avro客户端发来的数据流channels 与Source绑定的channel,多个用空格分开type 组件类型,这个是: avrobind 监听的服务器名hostname或者ipport 监听的端口a1.channels=c1a1.sources=s1a1.sinks=r1a1.sources.s1.channels=c1a1.sources.s1.type=avroa1.s...原创 2021-07-19 21:46:17 · 401 阅读 · 1 评论 -
Flume中的自定义拦截器的使用(案例)
1. 自定义拦截器1.1. 需求将event的body中的数据, 以数字开头的, 存储为 hdfs:/hadoop01:8020/flume/number.log s1 将event的body中的数据, 以字母开头的, 存储为 hdfs://hadoop01:8020/flume/character.log s2将event的body中的数据, 其他的开头的, 存储为 hdfs://hadoop01:8020/flume/other.log s3原创 2021-07-19 13:59:55 · 560 阅读 · 1 评论