flume三个案例

最新推荐文章于 2023-08-30 23:35:16 发布
最新推荐文章于 2023-08-30 23:35:16 发布
阅读量326 收藏
点赞数 1
分类专栏： 大数据 flume 文章标签： flume三个案例
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zengxianglei/article/details/89257246
版权
本文详细介绍了三个Flume的实战案例，包括使用netcat收集数据、监控目录内新文件以及跟踪文件内容变化并实时写入HDFS。通过配置source、sink和channel，展示了Flume在日志采集和数据传输中的应用。
摘要由CSDN通过智能技术生成

flume 安装 及测试 netcat-logs.conf

Flume :
Flume 安装 上传包 解压
到 conf 目录下
flume.env.sh 配置 jdk 即可
vi netcat-logger.conf

定义这个 agent 中各组件的名字

a1.sources = r1
a1.sinks = k1
a1.channels = c1

描述和配置 source 组件：r1

a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

描述和配置 sink 组件：k1

a1.sinks.k1.type = logger

描述和配置 channel 组件，此处使用是内存缓存的方式

a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

描述和配置 source channel sink 之间的连接关系

a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

最低0.47元/天 解锁文章
zengxianglei
关注
专栏目录
Flume>采集案例(2)
qq_44509920的博客
12-05 739
文章目录1、采集目录到HDFS启动flume具体代码2、采集文件到HDFS定义flume的配置文件启动flume具体代码开发shell脚本定时追加文件内容3、两个agent级联第一步：node02安装flume第二步：node02配置flume配置文件第三步：node02开发定脚本文件往写入数据第四步：node03开发flume配置文件第五步：顺序启动具体代码 1、采集目录到HDFS 需求分析 结...
Flume三个器
weixin_43907316的博客
03-26 328
Flume三个器拦截器自定义拦截器方法选择器监控器 拦截器 自定义拦截器方法 java实现其interceptor接口 并实现其4个方法 1.初始化方法 2.单event方法 3.多event方法 4.close方法 5.创建一个静态的内部类 Builder 选择器 Replicating(默认)：会自动的发往全部的channel Multiplexing：会选择发往对应的channel 监控器 ganglia 发现尝试提交的次数 远远大于最终提交成功次数； 说明flume性能不行； 自身；提高自己的内存
flume NG 配置及案例
cfeng1718的博客
06-07 159
[b]Flume 的一些核心概念：[/b] [table] |组件|功能 |Agent|使用JVM 运行Flume。每台机器运行一个agent，但是可以在一个agent中包含多个sources和sinks。 |Client|生产数据，运行在一个独立的线程。 |Source|从Client收集数据，传递给Channel。 |Sink|从Channel收集数据，运行在一个独立线程。 |C...
Flume 实战案例 两个agent级联
weixin_45774195的博客
12-12 382
需求分析： 第一个agent负责收集文件当中的数据，通过网络发送到第二个agent当中去，第二个agent负责接收第一个agent发送的数据，并将数据保存到hdfs上面去 第一步：node02安装flume 将node03机器上面解压后的flume文件夹拷贝到node02机器上面去 cd /export/servers scp -r apache-flume-1.6.0-cdh5.14.0-...
Flume 参数解析大全（包含启动参数）
Aying_seeyou的博客
08-11 2404
flume参数： # example.conf：单节点Flume配置 # 命名此代理上的组件 a1.sources = r1 a1.sinks = k1 a1.channels = c1 # 描述/配置源 a1.sources.r1.type = netcat a1.sources.r1.bind = localhost a1.sources.r1.port = 44444 # 描述接收器 a1.sinks.k1.type = logger # 使用缓冲内
Flume总结02_使用案例
tyf2007635的博客
08-07 260
目录 监控某个端口 实时读取本地文件到 HDFS 实时读取目录文件到 HDFS 案例 单数据源多出口案例(选择器) 单数据源多出口案例(Sink ） 多数据源汇总案例 本文具体列举几个常见的flume使用案例，具体安装过程参见Flume总结01_架构和基本概念 部分。 在安装完成后，具体配置过程如下 监控某个端口 1在 flume 目录下创建 job 文件夹，在 job...
Flume1.6.0入门：安装、部署、及flume的案例
01-07
- **可靠性级别**：Flume 提供了三个级别的可靠性保障，从强到弱分别是 end-to-end、store-on-failure 和 best-effort。其中 end-to-end 级别最高，保证了数据在从源到目的地的过程中完全可靠地传输。 #### 四、...
Flume1.5.0入门：安装、部署、及flume的案例
01-27
另一个案例是 Spool Source，它可以监控指定目录下的新文件，将文件内容读取并传输。在配置好相应的 Agent 配置文件后，启动 Flume Agent，然后将文件放入监控目录，Avro 或 Spool Source 就会自动处理这些文件，...
【Flume】（三）Flume抓取数据（Flume入门案例）
qianchun22的博客
12-02 424
在工作目录下创建以下文件 案例一 输入输出同步 编写 agent 配置文件 netcat-flume-logger.conf vi /opt/flume/conf/jobkb09/netcat-flume-logger.conf 内容如下： a1.sources=r1 a1.channels=c1 a1.sinks=s1 a1.sources.r1.type=netcat a1.sources.r1.bind=localhost a1.sources.r1.port=7777 a1.
Flume配置1——基础案例
weixin_51699336的博客
06-28 1460
Flume配置1——基础案例
flume笔记
qq_47721411的博客
12-15 165
flume笔记
Flume常用组件详解之Source
qq_30612351的博客
11-11 2431
Flume常用组件详解：Source Flume支持众多的source、sink、拦截器等组件具体实现，详细手册可参考官方文档http://flume.apache.org/FlumeUserGuide.html 一、netcatsource 1、工作机制 启动一个socket服务，监听一个端口； 将端口上收到的数据，转成event写入channel； 2、配置文件 a1.sources = s1 a1.sources.s1.type = netcat a1.sources.s1.bi.
flume收集日志的几种sources的收集实例
jiaoshenmo的博客
05-03 5456
实例1 ：类型avro，在flume的conf里面创建一个avro.conf用来测试，如下： a1.sources = r1 a1.sinks = k1 a1.channels = c1# Describe/configure the source a1.sources.r1.type = avro a1.sources.r1.channels = c1 a1.sources.r1.bi
（二十）大数据实战——Flume数据采集的基本案例实战
最新发布
厉害哥哥的博客
08-30 2345
本节内容我们主要介绍几个Flume数据采集的基本案例，包括监控端口数据、实时监控单个追加文件、实时监控目录下多个新文件、实时监控目录下的多个追加文件等案例。完成flume数据监控的基本使用。
【ETL工具】Flume 入门案例实战
康师傅没有眼泪
11-14 1802
Flume 的核心是把数据从数据源(source)收集过来，再将收集到的数据送到 指定的目的地(sink)。但是以上的这些拦截器，不能改变原有日志数据的内容或者对 日志信息添加一定的处理逻辑，当一条日志信息有几十个甚至上百个字段的时候， 在传统的 Flume 处理下，收集到的日志还是会有对应这么多的字段，也不能对你 想要的字段进行对应的处理。同个节点内，Source写入数据到Channel,数据在一个批次内的数据出现异常，则不写入到Channel，已接收到的部分数据直接抛弃，靠上一个节点重发数据。
flume通过tcp/udp采集数据并存到kafka配置及操作方式
热门推荐
萝卜地里的兔子的博客
11-03 1万+
/*官方提供的kafka sink*/ a1.sinks.k1.channel = c1 a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink a1.sinks.k1.kafka.topic = mytopic a1.sinks.k1.kafka.bootstrap.servers = localhost:9092 a1.sin
flume之Avro Source和Avro Sink
weixin_34301132的博客
11-25 544
2019独角兽企业重金招聘Python工程师标准>>> ...
【Flume】（六）Flume 开发实战案例分享
云祁QI
09-08 616
文章目录一、监控端口数据官方案例1.1 案例需求：1.2 需求分析：1.3 实现步骤：1．安装 telnet 工具2．判断 44444 端口是否被占用3．创建 Flume Agent 配置文件 flume-telnet-logger.conf4．先开启 flume 监听端口5．使用 telnet 工具向本机的 44444 端口发送内容6．在 Flume 监听页面观察接收数据情况二、实时读取本地文件到HDFS案例2.1 案例需求：2.2 需求分析：2.3 实现步骤：1．Flume 要想将数据输出到 HDFS，
Apache Flume深入学习：概念、模型与入门案例
每个代理包括Source、Channel和Sink三个主要部分。 3. Source：数据源，从外部系统接收事件，通常是按照Flume Source能够解析的格式。 4. Channel：数据通道，作为临时存储，保持事件直到被Sink消费。Channel有内存...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值