Flume
文章平均质量分 55
TomAndersen
新目标:喜欢上读书
展开
-
Flume之使用Kafka_Channel生产数据至Kafka_Topic
前言操作系统:CentOS 7Java版本:1.8.0_221Flume版本:1.8.01. Kafka Channel使用场景配合Flume Source、Flume Sink使用,为Event的传输提供一种具有高可用的Channel配合Flume Source和拦截器interceptor使用,无Sink,用于将Flume搜集的Event传输到Kafka集群指定Topic中...原创 2020-04-25 18:29:57 · 1518 阅读 · 1 评论 -
Flume之使用Kafka_Channel消费数据至HDFS
前言操作系统:CentOS 7Java版本:1.8.0_221Flume版本:1.8.01. Kafka Channel使用场景配合Flume Source、Flume Sink使用,为Event的传输提供一种具有高可用的Channel配合Flume Source和拦截器interceptor使用,无Sink,用于将Flume搜集的Event传输到Kafka集群指定Topic中...原创 2020-04-25 18:28:54 · 915 阅读 · 0 评论 -
Flume之使用Loadbalancing Sink Processor实现sink负载均衡
前言Load balancing Sink Processor,顾名思义,即能够对Sink组中的每个Sink实现负载均衡,默认采用的是轮询round_robin的方式,还可以使用随机方式random,或者用户自己实现AbstractSinkSelector抽象类定义自己的Sink Selector类,并提供FQCN(Full Qualified Class Name)全类名来进行配置,并且Lo...原创 2020-03-05 21:47:53 · 444 阅读 · 0 评论 -
Flume之使用Failover Sink Processor实现sink故障转移
前言Failover Sink Processor 维护着Sink组中Sinks的优先级表,根据优先级尝试将Event传输给不同的Sink直到Event成功发送。当优先级高的Sink不可用时,会将Event传输给下一优先级Sink,以此来确保每个Event都能被投递。当Sink不可用时,Failover Sink Processor和Load balancing Sink Processor一...原创 2020-03-05 21:29:34 · 579 阅读 · 0 评论 -
Flume之Multiplexing Channel Selector使用示例
前言Multiplexing Channe Selector 的作用就是根据 Event 的 Header 中的某个或几个字段的值将其映射到指定的 Channel ,便于之后 Channel Processor 将Event发送至对应的Channel中去。在Flume中,Multiplexing Channel Selector一般都与 Interceptor 拦截器搭配使用,因为新鲜的Eve...原创 2020-03-05 20:58:33 · 694 阅读 · 1 评论 -
Flume之实现和使用自定义Interceptor
前言在Flume中自定义Interceptor时,需要实现org.apache.flume.interceptor.Interceptor接口,以及创建静态内部类去实现org.apache.flume.interceptor.Interceptor.Builder接口更多详细内容可以参考《Flume构建高可用、可扩展的海量日志采集系统》实现自定义Interceptor拦截器1)根据使...原创 2020-03-05 20:41:52 · 479 阅读 · 0 评论 -
Flume之HDFS Sink使用案例
前言操作系统:CentOS 7Java版本:1.8.0_221Flume版本:1.8.0HDFS版本:2.7.7Flume agent配置:Netcat TCP Source、Memory Channel、HDFS Sink具体步骤a) 拷贝Hadoop相关jar包至flume/lib/路径下在hadoop-2.7.7/share/路径下找到以下对应jar包,并将其拷贝至fl...原创 2020-03-05 11:39:58 · 930 阅读 · 0 评论 -
Flume之入门级安装部署
前言操作系统:CentOS 7Java版本:1.8.0_221Flume版本:1.8.0具体步骤a) 下载flumeflume官网:https://flume.apache.org/flume最新版:https://flume.apache.org/download.htmlflume各个历史版本:http://archive.apache.org/dist/flume/...原创 2020-03-05 09:30:13 · 167 阅读 · 0 评论