flume基本概念与操作实例(常用source)

vim basic.conf

#绑定数据来源为r1

a1.sources=r1

#绑定source与sink之间的通道channel

a1.channels=c1

#绑定数据流向的最终目的地

a1.sinks=s1

#配置Source

#这里的source是netcat,通过NC发出TCP请求获取数据

a1.sources.r1.type=netcat

#端口所在的地址,表示从本地获取数据

a1.sources.r1.bind=0.0.0.0

#绑定端口号,配置监听的端口

a1.sources.r1.port=8090

#配置Channel -表示内存通道,临时把数据存储到内存中

a1.channels.c1.type=memory

#最多存储1000条数据 - 对应1000个event事件

a1.channels.c1.capacity=1000

#每次提供100条数据发送给sink

a1.channels.c1.transactionCapacity=100

#配置sink -表示以日志的形式输出在控制台

a1.sinks.s1.type=logger

实战操作

在linux系统中下载安装flume,进入flume安装路径的bin目录中

接着开启flume

sh flume-ng agent --name a1 -c …/conf/ -f …/data/basic.conf -Dflume.root.logger=INFO,console

在这里插入图片描述

接着在同一台虚拟机内,打开一个新的终端

解压安装nc

在这里插入图片描述

在新终端输入 nc hadoop01 8090

hadoop01是本台虚拟机的名称,8090是之前设定的端口

在这里插入图片描述

在里面随意的输入几个单词

这时再回到原先的终端窗口

在这里插入图片描述

会发现flume已经监听到输入的这两个单词了

(2)avro


数据的形式是通过TCP请求接受或者发送,接受的只是字符串形式的数据

文件编写

相比于netcat,只需要修改a1.sources.r1.type=avro即可

a1.sources=r1

a1.channels=c1

a1.sinks=s1

#配置Source

#这里的source是avro,通过NC发出TCP请求获取数据

a1.sources.r1.type=avro

a1.sources.r1.bind=0.0.0.0

a1.sources.r1.port=8090

a1.channels.c1.type=memory

a1.channels.c1.capacity=1000

a1.channels.c1.transactionCapacity=100

a1.sinks.s1.type=logger

通过指令 sh flume-ng在这里插入图片描述

可以查询到相关的指令提示

打开一个新的终端

在这里插入图片描述

vim a.txt 新建一个文件,并且向其中填写数据

在这里插入图片描述

在新终端输入sh flume-ng avro-client -H hadoop01 -p 8090 -F a.txt

在这里插入图片描述
之后就可以在原先的终端中看到
在这里插入图片描述
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。

深知大多数Java工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!

因此收集整理了一份《2024年Java开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。img

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Java开发知识点,真正体系化!

由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且会持续更新!

如果你觉得这些内容对你有帮助,可以扫码获取!!(备注:Java)

线程、数据库、算法、JVM、分布式、微服务、框架、Spring相关知识

一线互联网P7面试集锦+各种大厂面试集锦

学习笔记以及面试真题解析

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取!
1713846717035)]

学习笔记以及面试真题解析

[外链图片转存中…(img-heVkfkTt-1713846717036)]

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取!

  • 12
    点赞
  • 16
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值