Flume学习笔记：Flume集群的Avro RPC实现

最新推荐文章于 2024-08-07 19:26:10 发布
最新推荐文章于 2024-08-07 19:26:10 发布
阅读量923 收藏 1
点赞数
分类专栏： Flume 文章标签： Flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lrxcmwy2/article/details/82026527
版权
本文以两个Agent为例，详细介绍了如何搭建Flume集群。Agent1监听特定目录，通过Avro RPC将数据传递给Agent2。配置中包括Agent1和Agent2的详细设置，如source、channel和sink的参数。测试环节，成功验证了Agent1能够采集数据并将其传输至Agent2，展示了一个完整的Flume集群工作流程。
摘要由CSDN通过智能技术生成

以两个Agent为例，搭建Flume集群

 Agent1负责对目录/flumeagent的监听，然后将数据通过Avro RPC发送给Agent2的Source

Agent1的配置

配置信息说明
第一部分定义的是agent集群的名称a1，source，channel，sink的名称
第二部分定义的是source的参数，使用的是spooldir类型，用以监视目录，指定channel的名称
第三部分定义的是sink的参数，agent之间使用的是Avro RPC，指定要传输到的主机名和端口centos:4141
第四部分定义的是channel的参数，通过内存来缓存Event，transactionCapacity参数表示的是每次最大从source中拿到或者送到sink中的Event数量为100，capacity参数指定channel中最大存储的Event数量。

Agent2的配置

 source.r1.bind参数指

最低0.47元/天 解锁文章
SetsunaMeow
关注
专栏目录
Flume学习笔记 --- Flume数据抽取
杨鑫newlife的专栏
07-23 1107
1.Flume支持许多从外部源获取数据的机制。 2.RPC模式 Flume发行版本包含的Avro客户端可以使用Avro RPC 机制将给定文件发送到Flume Avro源。 $ bin/flume-ng avro-client -H localhost -p 41414 -F /usr/logs/log.10 上面的命令会将/usr/logs/log.10的内容发送到监听该端口的Flume...
Flume学习笔记（二）Flume 常用组件
an_vana的博客
08-08 201
Flume学习笔记（二）Flume 常用组件 前言 ​ 上一篇介绍了 Flume 整体的组成架构，这一篇来整理一下一些较为常用的 Source，Sink，Channel Source 网络流 Source ​ Flume 可以通过监听特定的端口来获取数据，以下三个是较为常用的网络流 Srouce Avro Source Avro Source 监听指定端口，通过 RPC 的方式来获取数据，Avro 本身在大批量的数据传输过程中有良好的表现。在实际应用中可以使用 Avro Source 和 Avro Si
flume--avro输入
suojie的博客
01-21 279
a1.sources = s1 a1.channels = c1 a1.sinks = k1 a1.sources.s1.type = avro a1.sources.s1.channels = c1 a1.sources.s1.bind = wangfutai a1.sources.s1.port = 4141 a1.channels.c1.type = file a1.channels....
flume1.6 avro测试
qq_26479655的博客
09-10 573
首先安装flume这个就不用多说了。 其次编写avro的配置文件，这个可以从flume给的example.conf中去修改就行。 如下 # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1# Describe/configure the source a1.sources.r1.typ
Flume(十七)AVRO Sink
最新发布
技术博客
08-07 232
AVRO Sink会将数据利用AVRO序列化之后再写出到指定节点的指定端口上，结合之前学习的AVRO Source可以是现实数据的多级、扇入、扇出等流动效果。此时将数据发送给m2,102（第二个节点上），第二个节点通过avro格式接受后，传递给第三个节点m3,103上，数据如下。1.那我们先来把flume的整个安装包都拷贝到第二个主机节点和第三个主机节点上。第一个节点传给第二个节点，第二个节点传给第三个节点。4.编写m3，接受数据的最后一个节点的配置文件。3.编写m2，中间主机的配置文件。
Flume的avro源配置
实践求真知
01-19 1960
一 配置文件r_avro.conf a1.sources = r1 a1.sinks = k1 a1.channels = c1 a1.sources.r1.type = avro a1.sources.r1.bind =0.0.0.0 a1.sources.r1.port= 4141 a1.sinks.k1.type = logger a1.channels.c1.type = memo
null of map in field headers of org.apache.flume.source.avro.AvroFlumeEvent of array
fang.lovest.yang的博客
05-06 748
一、背景 Windows系统下安装完Flume，flume.conf中source的配置如下：（此source参考Flume官网配置文档中的netcatudp） # Describe/configure the source a1.sources.r1.type = netcatudp a1.sources.r1.bind = 127.0.0.1 a1.sources.r1.port = 6...
Flume-使用AVRO进行级联采集数据
扛着锄头的码农
04-13 649
Flume-使用AVRO进行级联采集数据 一、架构图 二、工作原理 Agent之间采用avro序列化方式进行数据传输。 三、示列代码 1、agent_1.conf文件 # nama the components on this agent a1.sources = r1 a1.channels = c1 a1.sinks = k1 #配置source a1.sources.r1.type ...
Flume分布式日志采集学习笔记
weixin_42118315的博客
10-31 152
Apache Flume 概述 Flume是一种分布式，可靠且可用的服务，用于有效地收集，聚合和移动大量日志数据。Flume构建在日志流之上一个简单灵活的架构。它具有可靠的可靠性机制和许多故障转移和恢复机制，具有强大的容错性。使用Flume这套架构实现对日志流数据的实时在线分析。Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。当前Flume有两个版本Flume 0.9X版本的统称Flume-og，Flume1.X版本的
Flume NG 学习笔记（二）安装部署以及实战案例
痞帅小生的博客
08-14 858
安装部署 Flume 1、Flume 的安装非常简单，只需要解压即可，当然，前提是已有 Hadoop 环境上传安装包到 数据源所在节点上 然后解压 tar -zxvf apache-flume-1.8.0-bin.tar.gz 然后进入 flume 的目录，修改 conf 下的 flume-env.sh，在里面配置 JAVA_HOME 2、根据数据采集的需求配置采集方案，描述在配置文件中(...
日志采集工具——Flume
不才伟才的博客
04-17 1013
一、Flume介绍 1.1 概述 fcloudera开源提供的一个开源的日志采集工具； 可以从各个地方采集我们的数据 socket网络数据包， 文件夹， 某一个指定的文件里面， kafka消息队列里面采集。 可以将采集来的数据，发送到其他地方，比如日之外文件，hdfs数据存储，kafka消息队列。 一些概念： Event： 一个数据单元，消息头和消息体组成。（Even...
flume 案例
mllhxn的专栏
05-26 756
1)案例1：Avro 　　Avro可以发送一个给定的文件给Flume，Avro 源使用AVRO RPC机制。 　　a)创建agent配置文件root@m1:/home/hadoop#vi /home/hadoop/flume-1.5.0-bin/conf/avro.confa1.sources = r1 a1.sinks = k1 a1.channels = c1# Describe/confi
Apache Flume 如何解析消息中的事件时间
张吉的博客
08-06 2678
数据开发工作中，从上游消息队列抽取数据是一项常规的 ETL 流程。在基于 Hadoop 构建的数据仓库体系中，我们通常会使用 Flume 将事件日志从 Kafka 抽取到 HDFS，然后针对其开发 MapReduce 脚本，或直接创建以时间分区的 Hive 外部表。这项流程中的关键一环是提取日志中的事件时间，Flume 提供了诸多工具帮助我们实现这一点。
Flume_日志收集工具
xike1024的博客
06-16 501
目录 一、前言 二、简介 2.1 概述 2.2 发展历程 2.3 基本思想及特点 三、Flume NG 基本架构 3.1 基本架构 3.2 Agent 内部组件 1、Source 2、Channel 3、Sink 3.3 高级组件 1、Interceptor 2、Channel Selector 3、Sink Processer 四、Flume NG 数据流拓扑构建方法 4.1 如何构建数据流拓扑 4.2 流式数据获取方式 4.2 常见拓扑架构 1、多路合并 .
Flume NG（六）应用程序使用的RpcClient设计
weixin_42073629的博客
10-11 308
上一篇Flume NG（五）使用ThriftSource通过RPC方式收集日志介绍了ThriftSource利用Thrfit服务ThriftSourceProtocol来收集日志。这篇说说flume-ng-sdk中提供给应用层序使用的RpcClient的设计和实现。继续使用ThriftRpcClient来作例子。 先看看ThriftSourceProtocol提供的原生的客户端，它是Thrfit通过flume.thrift文件定义的Thrfit服务默认生成。这个原生的Client提供了网络传输和协..
Flume 之Avro RPC 调用失败记录
我有一个梦想的专栏
01-18 2462
flume-ng-sdk-1.8.0.jar 中依赖的jar 是 avro-1.7.4.jar，如果把avro 包换成最新的avro-1.8.2.jar 会导致Avro RPC client发送消息时失败，失败的异常如下：Caused by: java.util.concurrent.ExecutionException: java.lang.AbstractMethodError: org.ap
配置Flume的Avro sink
实践求真知
01-20 3748
一 配置拓扑 二 配置k_avro.conf #########a1 agent##### a1.sources = r1 a1.sinks = k1 a1.channels = c1 a1.sources.r1.type = netcat a1.sources.r1.bind=master a1.sources.r1.port=8888 a1.channels.c1.type
Apche Avro 实现RPC调用
it小奋
12-03 1076
流行的序列化框架有很多，常见的 Avro、Hessian、Protostuff、Thrift等，致力解决各种场景的数据序列化提高程序运行效率，基于现有的序列化行为不同的序列化协议不同程度的实现了消息协议进而提供了基础的RPC程序调用。通常应用程序的开发都是基于RPC层面进行，大大简化了跨进程通信的难度(IPC)。 Apache Avro不仅仅是一个数据序列化协议，更提供一个良好定义的IPC消息协
Flume学习笔记：从源到sink的高可用日志采集系统详解
Flume学习笔记深入解析 Flume是一个由Cloudera开发并后来归属Apache的分布式、高可靠的大数据日志采集、聚合和传输系统。它最初在2010年开源，经历了从Flume-OG（0.9.2及后续版本）到Flume-NG的重大重构，以解决...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值