flume多路复制案例

最新推荐文章于 2024-08-26 14:20:04 发布
最新推荐文章于 2024-08-26 14:20:04 发布
阅读量1.8k 收藏 1
点赞数 1
文章标签： 多路复用案例 多个channel，多个sink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/johnnychu/article/details/82780521
版权

多路复制案例

一个source的数据，同时写入到多个channel中，多个channel中的数据是一样的。

Agent1    -à   agent2/agent3

Agent1：

     Source：netcat

     Channel：memory   2

     Sink：avro   2

Agent2：  Agent3：

     Source：avro

     Channel：memory

     Sink：logger

Agent之间的通信   avro

利用一个选择器：

Selecttor.type   决定多路取数据的规则

    

Agent1的配置：

   case_six_agent01.properties

<
最低0.47元/天 解锁文章
_JohnnyChu
关注
Flume开发 -- 复制及多路复用
a1786742005的博客
03-03 605
一、需求 使用 Flume-1 监控文件变动，Flume-1 将变动内容传递给 Flume-2，Flume-2 负责存储到 HDFS。同时 Flume-1 将变动内容传递给 Flume-3，Flume-3 负责输出到 Local FileSystem。 二、流程分析 三、实现步骤 3.1 准备工作 1、在 /opt/module/flume/job 目录下创建 group1 文件夹 [test@...
Flume系列：案例-Flume复制(Replicating)和多路复用(Multiplexing)
wester的博客
05-28 1099
系统环境：centos7Java环境：Java8案例只演示通道流程，其中Source，channel，Sink的种类按需调整。
07 flume多路复制
张力的程序园
06-22 157
本小节将展示flume的多路复制。所谓多路复制，是指数据来自一个source，通过两个channel，进入到两个sink。 1、前提约束 有三台服务器[虚拟机也可以]，假设这三台服务器的ip、域名分别为： 192.168.100.141 hadoop1 192.168.100.142 hadoop2 192.168.100.143 hadoop3 且已经设置免密登录和关闭防火墙，且已安装jdk并...
flume多路复用模式
qq_38130667的博客
11-06 722
flume复制和多路复用简单示例（监控日志文件对接hdfs、kafka、本地文件系统）
破晓的成长之路
09-19 661
首先就是配置文件的编写了，在此有四个配置文件，对应4个agent。一个agent（a1）负责监视日志文件变化，其他三个（a2、a3、a4）负责对接上游数据a1，而后将数据分别写到hdfs、kafkasink、localFile。 类似于这个结构：（图片来自flume官网：http://flume.apache.org/releases/content/1.7.0/FlumeUserGuide.ht...
Flume 的应用4（复制和多路复用及案例分析）
weixin_48067943的博客
08-22 448
文章目录1、复制和多路复用拓扑结构2、复制和多路复用案例解析 1、复制和多路复用拓扑结构 单source，多channel、sink Flume 支持将事件流向一个或者多个目的地。这种模式可以将相同数据复制到多个 channel 中，或者将不同数据分发到不同的 channel 中，sink 可以选择传送到不同的目的地。 2、复制和多路复用案例解析 1）案例需求 使用 Flume-1 监控文件变动，Flume-1 将变动内容传递给 Flume-2，Flume-2 负责存储到 HDFS。同时 Flu
Flume系列：Flume常用采集通道案例
wester的博客
05-26 1160
系统环境：centos7Java环境：Java8。
大数据技术之Flume 企业开发案例——复制和多路复用（5）
最新发布
qq_45115959的博客
08-26 429
配置 1 个接收日志文件的 source 和两个 channel、两个 sink，分别输送给 flume-flume hdfs 和 flume-flume-dir。分别启动对应的 flume 进程：flume-flume-dir，flume-flume-hdfs，flume-file-flume。：输出的本地目录必须是已经存在的目录，如果该目录不存在，并不会创建新的目录。配置上级 Flume 输出的 Source，输出是到本地目录的 Sink。单数据源多出口案例（选择器）
flume入门案例
weixin_44604159的博客
11-11 1993
flume入门案例
Flume之企业开发案例-复制和多路复用
weixin_45234249的博客
07-11 513
复制和多路复用 1）案例需求 使用Flume-1监控文件变动，Flume-1将变动内容传递给Flume-2，Flume-2负责存储到HDFS。同时Flume-1将变动内容传递给Flume-3，Flume-3负责输出到Local FileSystem。 编辑配置文件 创建flume-file-flume.conf # Name the components on this agent a1.sou...
flume--多路复用
suojie的博客
01-21 1953
同一时刻，source只能传输给一个channel source是通过event header来决定传输到哪一个channel source 本地 channel c1 localfile c2 mem sink k1 logger k2本地目录 如果文件名1_txt 传输到logger 如果是2_txt 传输到本地 a1.sources = s1 a1.channels =...
Flume快速入门系列(4) | 多路复用
不温卜火
05-12 8680
  上一篇我们已经介绍了如何实时读取本地/目录文件到HDFS上，那么这一篇文章博主继续为大家介绍如何实时读取本地/目录文件到HDFS上。 目录一. 单数据源多出口案例1.1 选择器1. 案例需求2. 需求分析3. 实现步骤1. 准备工作2. 创建flume-file-flume.conf3. 创建flume-flume-hdfs.conf4. 创建flume-flume-dir.conf5. 执行...
4. Flume企业开发案例-多路复用以及自定义flume拦截器
weixin_45267102的博客
08-10 274
在实际的开发中，一台服务器产生的日志类型可能有很多种，不同类型的日志可能需要发送到不同的分析系统。此时会用到 Flume 拓扑结构中的 Multiplexing 结构，Multiplexing的原理是： 根据 event 中 Header 的某个 key 的值，将不同的 event 发送到不同的 Channel中，所以我们需要自定义一个 Interceptor，为不同类型的 event 的 Header 中的 key 赋予不同的值。 在该案例中，我们以端口数据模拟日志，模拟不同类型的日志，我们需要自定义
flume复制和多路重用的使用案例
yingzi的技术博客
01-25 496
复制和多路复用 文章目录1）需求2）需求分析3）前期准备4）配置文件5）启动相关命令6）检验 1）需求 使用 Flume-1 监控文件变动，Flume-1 将变动内容传递给 Flume-2，Flume-2 负责存储 到 HDFS。同时 Flume-1 将变动内容传递给 Flume-3，Flume-3 负责输出到 Local FileSystem 2）需求分析 3）前期准备 （1）在/opt/module/flume/job 目录下创建 group1 文件夹（存放配置文件） （2）在/opt/module/
flume多路复用及拦截器的使用
qq_43224174的博客
01-07 1130
需求 使用flume采集服务器本地日志，需要按照日志类型的不同来将不同种类的日志发往不同的分析系统 需求分析及原理 在开发当中，一台服务器产生的日志类型往往是有很多种的，在不同类型的日志有可能要发往不同的分析系统，在这个时候就会用到flume的channel selector中的Multiplexing结构。其原理是：根据event中header的某个key值，将不同的event发送到不同的channel中，所以我们需要自定义一个interceptor，来为不同类型的event的header中的key赋不同
Flume：单数据源多输出 之 sink组实现
哈
03-16 543
需求 使用Flume-1监控控制台，Flume-1将变动内容传递给Flume-2，Flume-2负责输出到控制台。同时Flume-1将变动内容传递给Flume-3，Flume-3也负责输出到控制台。 实现 第一步：在flume目录下创建文件夹job，然后在其下面创建配置文件： fume-netcat-flume.conf # Name the components on this agent...
Flume复制和多路复用
qq_45621011的博客
07-05 306
Flume安装： 1.解压apache-flume-1.7.0-bin.tar.gz到/opt/module/目录下 [root@JHB0 software]$ tar -zxf apache-flume-1.7.0-bin.tar.gz -C /opt/module/ 2.改名 mv apache-flume-1.7.0-bin flume 3.修改配置文件 [root@JHB0 conf]$ mv flume-env.sh.template flume-env.sh [root@JHB0 conf]
Flume二：复制（ChannelSelector之Replicating复制）
qq_22049773的博客
01-17 564
案例一：复制 agent1 : flume.conf（node2节点） #定义 a1.sources = r1 a1.channels = c1 c2 a1.sinks = k1 k2 #source a1.sources.r1.type = TAILDIR # 用于断点续传，文件中包含各个路径下各个文件当前读取到的偏移量 a1.sources.r1.positionFile ...
flume复制及多路复用案例
大数据技术分享中心
08-17 896
复制和多路复用 Flume支持将事件流向一个或者多个目的地。这种模式可以将相同数据复制到多个channel中，或者将不同数据分发到不同的channel中，sink可以选择传送到不同的目的地。 案例： 整体flume架构如上图所示，下面开始编辑flume配置文件： 在hadoop103节点的 /opt/module/flume/job 下新建配置文件： vim netcat-flume-loggers.conf 添加如下内容： a3.sources = r3 a3.channels = c3 a3.so
Flume复用与复制模式实战：构建多通道日志收集系统
这个Flume的高级案例展示了如何通过ReplicatingChannelSelector实现日志数据的复制和多目的地分发，这对于构建高可用和容错的日志收集系统具有实际意义。这种配置可以帮助企业在大数据环境中更好地管理和利用日志...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值