《大数据： Flume 多个Agent 串联（AvroSource、AvroSink）》

最新推荐文章于 2022-03-15 19:27:53 发布
最新推荐文章于 2022-03-15 19:27:53 发布
阅读量616 收藏
点赞数
分类专栏： 【 大数据：上篇 】
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yexiangCSDN/article/details/109184659
版权

一、Flume 多个Agent 串联

如果AgentA需要将Event对象发送到其他的agent进程中，AgentA的sink，必须为AvroSink，其他的agent在接收时，必须选择AvroSource

这种模式是将多个flume顺序连接起来了，从最初的source开始到最终sink传送的目的存储系统。此模式不建议桥接过多的flume数量， flume数量过多不仅会影响传输速率，而且一旦传输过程中某个节点flume宕机，会影响整个传输系统

 

1. 组件选择

①. Avro Source

Listens on Avro p

了解本专栏 订阅专栏 解锁全文
HarkerYX
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
订阅专栏
Flume之多层代理
zp17834994071的博客
08-18 1217
为什么需要多层代理 当我们用 Flume 采集日志时，由于数据源的多样性，则往往需要配置多个Flume 进行采集，如果只是使用单层 Flume 的话，那么往往会产生很多个文件夹，单个文件夹也只是来自同一个节点的数据组成的。 而实际开发中，为了减少HDFS 的压力，同时提高后续 MR 的处理效率。往往会将同一组多个节点的数据汇聚到同一个文件中，这样同时也较少了数据从生产到分析的时间。 如下图，第一次 agent 负责采集原始数据，第二层 agent 负责对第一层数据进行汇聚。这种多层代理的方式尤其适合 sou
Flume的多Agent配置案例及load balance和fali over
muyingmiao的专栏
09-20 487
1.多source到一agent agent1 -> agent3 agent2 -> agetn3 Avro Source可以定制avro-client发送一个指定的文件给Flume agent，Avro源使用Avro RPC机制，Flume主要的RPC Source也是 Avro Source，它使用Netty-Avro inter-process的通信（IPC）协议来通信，因此...
Flume 使用avroSource和AvroSink实现跃点agent处理
mthinking
04-23 435
1.创建配置文件 [avro_hop.conf] #a1 a1.sources = r1 a1.sinks= k1 a1.channels = c1 a1.sources.r1.type=netcat a1.sources.r1.bind=localhost a1.sources.r1.port=8888 a1.sinks.k1.type = a...
Flume简介和架构安装配置详解
zjjcchina的博客
01-19 3220
flume简介 Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的软件。 Flume 的核心是把数据从数据源(source)收集过来，再将收集到的数据送到指定的目的地(sink)。为了保证输送的过程一定成功，在送到目的地(sink)之前，会先缓存数据(channel),待数据真正到达目的地(sink)后，flume 在删除自己缓存的数据。 Flume 支持定制各类数据发送方，用于收集各类型数据；同时，Flume 支持定制各种数据接受方，用于最终存储数据。
大数据教程（13.2）Flume多个agent连接
weixin_33937778的博客
02-26 548
2019独角兽企业重金招聘Python工程师标准>>> ...
华为大数据认证：Flume海量日志聚合.pptx
09-24
华为大数据认证,Flume组件介绍
尚硅谷大数据技术之Flume
03-23
Flume 的拓扑结构可以是单个 Agent、多个 Agent、负载均衡、聚合等形式。 1.4 Flume Agent内部原理 Flume Agent 的内部原理主要是通过事件驱动的方式来实现数据的采集、传输和存储。 2.1 Flume 安装 Flume 的...
大数据架构：flume-ng+Kafka+Storm+HDFS实时系统组合
02-25
本文来自于csdn,大数据我们都知道hadoop，但并不都是hadoop.我们该如何构建大数据库项目。对于离线处理，hadoop还是比较适合的，但是对于实时性比较强的，数据量比较大的，我们可以采用Storm，那么Storm和什么技术...
大数据平台flume组件应用研究说明书.docx
11-22
* 将多个 Agent 串联起来，输出到 HDFS。 这些场景都可以使用 Flume 来实现数据的采集、传输和存储。 3. Flume 插件或接口 Flume 提供了多种插件或接口，例如 Avro-client、 EXEC 等，用于与其他系统集成，以实现...
Flume架构以及应用介绍
qq_30062385的博客
03-19 347
在具体介绍本文内容之前，先给大家看一下Hadoop业务的整体开发流程：这里写图片描述从Hadoop的业务开发流程图中可以看出，在大数据的业务处理过程中，对于数据的采集是十分重要的一步，也是不可避免的一步，从而引出我们本文的主角—Flume。本文将围绕Flume的架构、Flume的应用(日志采集)进行详细的介绍。（一）Flume架构介绍1、Flume的概念这里写图片描述flume是分布式的日志收集系...
2、Flume多级连高可用
weixin_34202952的博客
12-03 224
2019独角兽企业重金招聘Python工程师标准>>> ...
flume的多agent场景
qq_43662627的博客
10-13 435
常用组件 ①avrosource： 监听一个avro的端口，从另一个avro客户端接受event! 必须配置： type – The component type name, needs to be avro bind – hostname or IP address to listen on port – Port # to bind to ②avrosink： 将event转为avro格式的event，发送给指定的主机和端口 必须配置： type – The component type name,
Flume 搭建两个agent
一直打铁
07-30 885
Flume 搭建两个agent一、需求二、配置三、测试 一、需求 B服务器 监听收集A服务器内容 二、配置 2.1 先创建一个 foo.conf #那么我们也给这个三个组件分别取名字 foo.sources = s1 foo.channels = c1 foo.sinks = k1 #定义具体的source内容 ##这里是执行命令以及下面对应的具体命令 ##这个命令执行后的数据返回给这个...
Flume原理分享
weixin_42560294的博客
04-29 142
@Flume详细介绍 事务： 流程图： #mermaid-svg-MXqoLNw8xJn3H6kd .label{font-family:'trebuchet ms', verdana, arial;font-family:var(--mermaid-font-family);fill:#333;color:#333}#mermaid-svg-MXqoLNw8xJn3H6kd .label text{fill:#333}#mermaid-svg-MXqoLNw8xJn3H6kd .node rect,#me
flume之Avro Source和Avro Sink
weixin_34301132的博客
11-25 533
2019独角兽企业重金招聘Python工程师标准>>> ...
大数据笔记--Flume（第二篇）
我睡觉的时候不困
03-15 1653
一、Sink 1、HDFS Sink ①、概述 HDFS Sink将收集到的数据写到HDFS中 在往HDFS上写的时候，支持三种文件类型：文本类型，序列类型以及压缩类型。如果不指定，那么默认使用使得序列类型 在往HDFS上写数据的时候，数据的存储文件会定时的滚动，如果不指定，那么每隔30s会滚动一次，生成一个文件，那么此时会生成大量的小文件 ②、配置属性 属性 解释 type ...
Flume常用组件详解之Source
qq_30612351的博客
11-11 2360
Flume常用组件详解：Source Flume支持众多的source、sink、拦截器等组件具体实现，详细手册可参考官方文档http://flume.apache.org/FlumeUserGuide.html 一、netcatsource 1、工作机制 启动一个socket服务，监听一个端口； 将端口上收到的数据，转成event写入channel； 2、配置文件 a1.sources = s1 a1.sources.s1.type = netcat a1.sources.s1.bi.
flume avro sink
潇洒人生的博客
05-27 2614
ink端的memory channel的capacity和transactionCapacity一定要设置的比source的大，否则会报错，如下 ERROR flume.SinkRunner: Unable to deliver event. Exception follows. org.apache.flume.EventDeliveryException: Failed to send events at org.apache.flume.sink.AbstractRpcSink.proces
配置Flume的Avro sink
实践求真知
01-20 3729
一 配置拓扑 二 配置k_avro.conf #########a1 agent##### a1.sources = r1 a1.sinks = k1 a1.channels = c1 a1.sources.r1.type = netcat a1.sources.r1.bind=master a1.sources.r1.port=8888 a1.channels.c1.type
巴豆大数据团队讲师课件Flume.pdf
02-20
内有Flume对应的知识要点，为巴豆大数据团队讲师课件，内容丰富，知识覆盖全面，可以直接使用。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

HarkerYX

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值