Flume学习笔记：Flume集群的Avro RPC实现

最新推荐文章于 2024-03-06 09:36:31 发布
最新推荐文章于 2024-03-06 09:36:31 发布
阅读量911 收藏 1
点赞数
分类专栏： Flume 文章标签： Flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lrxcmwy2/article/details/82026527
版权

以两个Agent为例，搭建Flume集群

 Agent1负责对目录/flumeagent的监听，然后将数据通过Avro RPC发送给Agent2的Source

Agent1的配置

配置信息说明
第一部分定义的是agent集群的名称a1，source，channel，sink的名称
第二部分定义的是source的参数，使用的是spooldir类型，用以监视目录，指定channel的名称
第三部分定义的是sink的参数，agent之间使用的是Avro RPC，指定要传输到的主机名和端口centos:4141
第四部分定义的是channel的参数，通过内存来缓存Event，transactionCapacity参数表示的是每次最大从source中拿到或者送到sink中的Event数量为100，capacity参数指定channel中最大存储的Event数量。

Agent2的配置

 source.r1.bind参数指

最低0.47元/天 解锁文章
SetsunaMeow
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Flume1.6.0入门：安装、部署、及flume的案例
01-07
- **高性能**：通过合理的设计和优化，Flume 能够实现高速的数据传输。 #### 二、Flume 的核心概念 Flume 的核心组件包括 Agent、Source、Sink、Channel 和 Event： - **Agent**：Agent 是 Flume 中的一个进程，...
flume遇到的问题一
04-10 1043
1、 [ERROR - org.apache.thrift.server.AbstractNonblockingServer$FrameBuffer.invoke(AbstractNonblockingServer.java:484)] Unexpected throwable while invoking! java.lang.OutOfMemoryError: Java heap space ...
大型协作框架flume中avro类型的应用场景
rumple的博客
09-27 8645
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 系统功能 编辑 日志收集 Flume最早是Cloudera提供的日志收集系统，目前是Apache下的一个孵化项目，Fl
【数仓】flume常见配置总结，以及示例
最新发布
不积跬步无以至千里，不积小流无以成江海。一个喜欢学习分享的程序员
03-06 1027
Flume的核心组件包括Source、Channel和Sink。Source负责从数据源中读取数据，可以是文件、网络套接字、消息队列等；Channel是数据的缓冲区，用于在Source和Sink之间传输数据；Sink负责将数据写入目标存储系统，如HDFS、HBase、Kafka等。此外，Flume还支持多种类型的Source、Channel和Sink，用户可以根据实际需求进行选择和配置。
Flume Avro端口传输、负载均衡、故障转移
Mogeko1的博客
11-09 1123
Flume Avro端口传输、负载均衡、故障转移
tcp实时传输kafka数据_将线上服务器生成的日志信息实时导入kafka，采用agent和collector分层传输，app的数据通过thrift传给agent，agent通过avro sink将数...
weixin_39771969的博客
12-20 166
记flume部署过程中遇到的问题以及解决方法(持续更新) - CSDN博客 https://blog.csdn.net/lijinqi1987/article/details/77449889现将调试过程中遇到的问题以及解决方法记录如下：1、 [ERROR - org.apache.thrift.server.AbstractNonblockingServer$FrameBuffer.invoke...
Flume1.5.0入门：安装、部署、及flume的案例
01-27
Flume 的实际应用案例中，例如 Avro 案例，Avro Source 可以通过 AVRO RPC 机制接收并发送文件数据。另一个案例是 Spool Source，它可以监控指定目录下的新文件，将文件内容读取并传输。在配置好相应的 Agent 配置...
flume学习笔记.pptx
09-23
flume学习笔记 ===亲测===== 笔记中所有demo都已由本人实现
flume学习笔记更新版20190927.pptx
09-27
更新flume笔记文档 其中包括flume安装，flume监控文件、目录等并保存数据 还包含flume启动脚本
2021-03-12
mojolang
03-12 425
Flume连接HDFS 进入Flume配置 配置flume.conf # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # sources a1.sources.r1.type = netcat a1.sources.r1.bind = 0.0.0.0 a1.sources.r1.port = 41414 # sin..
avro-rpc程序示例
07-21
Avro RPC示例源码，包括client与server端，底层采用Netty
记flume部署过程中遇到的问题以及解决方法
硅谷纵横
11-16 2217
项目需求是将线上服务器生成的日志信息实时导入kafka，采用agent和collector分层传输，app的数据通过thrift传给agent，agent通过avro sink将数据发给collector，collector将数据汇集后，发送给kafka，拓扑结构如下： 现将调试过程中遇到的问题以及解决方法记录如下： 1、 [ERROR - org.apache.thrift.s...
Flume 之Avro RPC 调用失败记录
我有一个梦想的专栏
01-18 2452
flume-ng-sdk-1.8.0.jar 中依赖的jar 是 avro-1.7.4.jar，如果把avro 包换成最新的avro-1.8.2.jar 会导致Avro RPC client发送消息时失败，失败的异常如下：Caused by: java.util.concurrent.ExecutionException: java.lang.AbstractMethodError: org.ap
Flume Avro 两台机器间进行数据传输的方式
czw698的专栏
03-31 1万+
flume 通过avro方式在两台机器之间进行数据传输 比如要在192.168.17.18 上把数据传到 192.168.17.17 1 首先要再两台机器上都部署 flume 2 在 17 flume下这样配置 avro-flume.conf agent3.channels = ch1 agent3.sources = avro-source1 agent3.sinks = log
【Flume】flume中Avro Sink到Avro Source的性能测试，是否压缩，是否加密
三也_攻城狮
03-09 4716
从官方下载的flume-ng的源码里有单元测试的代码，本文就通过单元测试来体验下flume中avro的性能如何 本文中的一个event的body内容大小是1KB，读者可自行组织文本，达到1KB即可，方便测试时，性能的计算 for (int i = 0; i < client.getBatchSize(); i++) { Event event = channel.take()
记flume部署过程中遇到的问题以及解决方法（持续更新）
热门推荐
小麒麟的成长之路
08-21 4万+
项目需求是将线上服务器生成的日志信息实时导入kafka，采用agent和collector分层传输，app的数据通过thrift传给agent，agent通过avro sink将数据发给collector，collector将数据汇集后，发送给kafka，拓扑结构如下：现将调试过程中遇到的问题以及解决方法记录如下：1、 [ERROR - org.apache.thrift.server.Abstr...
Flume 使用exec及avro方式实现数据收集
harvey的博客
10-26 4968
导读：       本篇博客笔者主要介绍如何使用exec实现数据收集到HDFS、使用avro方式实现数据收集及整合exec和avro实现数据收集。Flume 官方文档：http://flume.apache.org/FlumeUserGuide.html1.使用exec实现数据收集到HDFS需求：监控一个文件，将文件中新增的内容收集到HDFS Agent选型：exec source + memo
配置Flume的Avro sink
实践求真知
01-20 3732
一 配置拓扑 二 配置k_avro.conf #########a1 agent##### a1.sources = r1 a1.sinks = k1 a1.channels = c1 a1.sources.r1.type = netcat a1.sources.r1.bind=master a1.sources.r1.port=8888 a1.channels.c1.type
Flume学习笔记：从源到sink的高可用日志采集系统详解
Flume学习笔记深入解析 Flume是一个由Cloudera开发并后来归属Apache的分布式、高可靠的大数据日志采集、聚合和传输系统。它最初在2010年开源，经历了从Flume-OG（0.9.2及后续版本）到Flume-NG的重大重构，以解决...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值