flume多路复制案例

最新推荐文章于 2023-05-28 22:16:22 发布
最新推荐文章于 2023-05-28 22:16:22 发布
阅读量1.7k 收藏 1
点赞数 1
文章标签： 多路复用案例 多个channel，多个sink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/JohnnyChu/article/details/82780521
版权

多路复制案例

一个source的数据，同时写入到多个channel中，多个channel中的数据是一样的。

Agent1    -à   agent2/agent3

Agent1：

     Source：netcat

     Channel：memory   2

     Sink：avro   2

Agent2：  Agent3：

     Source：avro

     Channel：memory

     Sink：logger

Agent之间的通信   avro

利用一个选择器：

Selecttor.type   决定多路取数据的规则

    

Agent1的配置：

   case_six_agent01.properties

<
最低0.47元/天 解锁文章
_JohnnyChu
关注
flume--多路复用
suojie的博客
01-21 1803
同一时刻，source只能传输给一个channel source是通过event header来决定传输到哪一个channel source 本地 channel c1 localfile c2 mem sink k1 logger k2本地目录 如果文件名1_txt 传输到logger 如果是2_txt 传输到本地 a1.sources = s1 a1.channels =...
07 flume多路复制
张力的程序园
06-22 133
本小节将展示flume的多路复制。所谓多路复制，是指数据来自一个source，通过两个channel，进入到两个sink。 1、前提约束 有三台服务器[虚拟机也可以]，假设这三台服务器的ip、域名分别为： 192.168.100.141 hadoop1 192.168.100.142 hadoop2 192.168.100.143 hadoop3 且已经设置免密登录和关闭防火墙，且已安装jdk并...
flume多路复用模式
qq_38130667的博客
11-06 693
flume复制和多路复用简单示例（监控日志文件对接hdfs、kafka、本地文件系统）
破晓的成长之路
09-19 608
首先就是配置文件的编写了，在此有四个配置文件，对应4个agent。一个agent（a1）负责监视日志文件变化，其他三个（a2、a3、a4）负责对接上游数据a1，而后将数据分别写到hdfs、kafkasink、localFile。 类似于这个结构：（图片来自flume官网：http://flume.apache.org/releases/content/1.7.0/FlumeUserGuide.ht...
Flume 的应用4（复制和多路复用及案例分析）
weixin_48067943的博客
08-22 411
文章目录1、复制和多路复用拓扑结构2、复制和多路复用案例解析 1、复制和多路复用拓扑结构 单source，多channel、sink Flume 支持将事件流向一个或者多个目的地。这种模式可以将相同数据复制到多个 channel 中，或者将不同数据分发到不同的 channel 中，sink 可以选择传送到不同的目的地。 2、复制和多路复用案例解析 1）案例需求 使用 Flume-1 监控文件变动，Flume-1 将变动内容传递给 Flume-2，Flume-2 负责存储到 HDFS。同时 Flu
Flume系列：案例-Flume复制(Replicating)和多路复用(Multiplexing)
最新发布
wester的博客
05-28 1007
系统环境：centos7Java环境：Java8案例只演示通道流程，其中Source，channel，Sink的种类按需调整。
Flume多路复用及故障转移案例
weixin_42560294的博客
04-29 214
复制和多路复用： 使用Flume-1监控文件变动 Flume-1将变动内容传递给Flume-2 Flume-2负责存储到HDFS 同时Flume-1将变动内容传递给Flume-3 Flume-3负责输出到Local FileSystem #mermaid-svg-odydLoMK0Bqr8dQl .label{font-family:'trebuchet ms', verdana, arial;font-family:var(--mermaid-font-family);fill:#333;color:
Flume系列：Flume常用采集通道案例
wester的博客
05-26 1085
系统环境：centos7Java环境：Java8。
大数据技术之Flume —— （2）flume进阶flume进阶案例
m0_46615073的博客
09-12 512
flume Agent 内部原理ChannelSelectorSinkProcessor二、Flume拓扑结构2.1 简单串联 一、flume Agent 内部原理 ChannelSelector ChannelSelector 的作用就是选出 Event 将要被发往哪个 Channel。其共有两种类型，分别是 Replicating（复制）和 Multiplexing（多路复用） ReplicatingSelector 会
Flume开发 -- 复制及多路复用
a1786742005的博客
03-03 559
一、需求 使用 Flume-1 监控文件变动，Flume-1 将变动内容传递给 Flume-2，Flume-2 负责存储到 HDFS。同时 Flume-1 将变动内容传递给 Flume-3，Flume-3 负责输出到 Local FileSystem。 二、流程分析 三、实现步骤 3.1 准备工作 1、在 /opt/module/flume/job 目录下创建 group1 文件夹 [test@...
Flume之企业开发案例-复制和多路复用
weixin_45234249的博客
07-11 476
复制和多路复用 1）案例需求 使用Flume-1监控文件变动，Flume-1将变动内容传递给Flume-2，Flume-2负责存储到HDFS。同时Flume-1将变动内容传递给Flume-3，Flume-3负责输出到Local FileSystem。 编辑配置文件 创建flume-file-flume.conf # Name the components on this agent a1.sou...
Flume快速入门系列(4) | 多路复用
不温卜火
05-12 8645
  上一篇我们已经介绍了如何实时读取本地/目录文件到HDFS上，那么这一篇文章博主继续为大家介绍如何实时读取本地/目录文件到HDFS上。 目录一. 单数据源多出口案例1.1 选择器1. 案例需求2. 需求分析3. 实现步骤1. 准备工作2. 创建flume-file-flume.conf3. 创建flume-flume-hdfs.conf4. 创建flume-flume-dir.conf5. 执行...
4. Flume企业开发案例-多路复用以及自定义flume拦截器
weixin_45267102的博客
08-10 248
在实际的开发中，一台服务器产生的日志类型可能有很多种，不同类型的日志可能需要发送到不同的分析系统。此时会用到 Flume 拓扑结构中的 Multiplexing 结构，Multiplexing的原理是： 根据 event 中 Header 的某个 key 的值，将不同的 event 发送到不同的 Channel中，所以我们需要自定义一个 Interceptor，为不同类型的 event 的 Header 中的 key 赋予不同的值。 在该案例中，我们以端口数据模拟日志，模拟不同类型的日志，我们需要自定义
flume复制和多路重用的使用案例
yingzi的技术博客
01-25 466
复制和多路复用 文章目录1）需求2）需求分析3）前期准备4）配置文件5）启动相关命令6）检验 1）需求 使用 Flume-1 监控文件变动，Flume-1 将变动内容传递给 Flume-2，Flume-2 负责存储 到 HDFS。同时 Flume-1 将变动内容传递给 Flume-3，Flume-3 负责输出到 Local FileSystem 2）需求分析 3）前期准备 （1）在/opt/module/flume/job 目录下创建 group1 文件夹（存放配置文件） （2）在/opt/module/
flume多路复用及拦截器的使用
qq_43224174的博客
01-07 1082
需求 使用flume采集服务器本地日志，需要按照日志类型的不同来将不同种类的日志发往不同的分析系统 需求分析及原理 在开发当中，一台服务器产生的日志类型往往是有很多种的，在不同类型的日志有可能要发往不同的分析系统，在这个时候就会用到flume的channel selector中的Multiplexing结构。其原理是：根据event中header的某个key值，将不同的event发送到不同的channel中，所以我们需要自定义一个interceptor，来为不同类型的event的header中的key赋不同
Flume：单数据源多输出 之 sink组实现
哈
03-16 517
需求 使用Flume-1监控控制台，Flume-1将变动内容传递给Flume-2，Flume-2负责输出到控制台。同时Flume-1将变动内容传递给Flume-3，Flume-3也负责输出到控制台。 实现 第一步：在flume目录下创建文件夹job，然后在其下面创建配置文件： fume-netcat-flume.conf # Name the components on this agent...
Flume复制和多路复用
qq_45621011的博客
07-05 279
Flume安装： 1.解压apache-flume-1.7.0-bin.tar.gz到/opt/module/目录下 [root@JHB0 software]$ tar -zxf apache-flume-1.7.0-bin.tar.gz -C /opt/module/ 2.改名 mv apache-flume-1.7.0-bin flume 3.修改配置文件 [root@JHB0 conf]$ mv flume-env.sh.template flume-env.sh [root@JHB0 conf]
Flume二：复制（ChannelSelector之Replicating复制）
qq_22049773的博客
01-17 534
案例一：复制 agent1 : flume.conf（node2节点） #定义 a1.sources = r1 a1.channels = c1 c2 a1.sinks = k1 k2 #source a1.sources.r1.type = TAILDIR # 用于断点续传，文件中包含各个路径下各个文件当前读取到的偏移量 a1.sources.r1.positionFile ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值