Flume
文章平均质量分 84
初学的笔记
笔记分享
这个作者很懒,什么都没留下…
展开
-
3-Flume之拦截器与GangLia监控
实际过程中,可以使用Ganglia监控Flume的数据流。Ganglia是Berkeley发起的一个开源的集群监控项目,可以检测数以千计的节点的性能Ganglia包含三个模块gmond(Ganglia Monitoring Daemon):轻量级的监控服务,需要监控哪一个节点的性能,就在这个节点上安装gmond服务,可以监控当前节点(系统)的各种指标数据:CPU、内存、磁盘、网络等信息。原创 2024-03-26 18:46:44 · 1218 阅读 · 0 评论 -
2-Flume之Sink与Channel
自定义Sink的时候,需要定义一个类继承,实现Sink接口,最好还要实现接口来获取配置。注意,自定义Sink的过程中,需要关注事务问题。依赖和笔记1中用的一样。//打印流,打印到文件或者Flume的窗口。sout调用的就是这个类中的方法@Override//从flume中的格式文件中获取路径信息@Overrideif(!Event e;原创 2024-03-25 18:53:57 · 1349 阅读 · 0 评论 -
1-Flume中agent的source
/ 自定义代码实现Sequence Generator Source,加深理解 public class AuthDrivenSource extends AbstractSource implements EventDrivenSource , Configurable {// 获取参数值 @Override public void configure(Context context) {原创 2024-03-21 17:59:48 · 1220 阅读 · 0 评论 -
0-Flume(1.11.0版本)在Linux(Centos7.9版本)的安装(含Flume的安装包)
需要注意的是,从Flume1.10.0版本开始,Flume将log4j 1.x替换为了log4j 2.x,因此导致输出数据的时候,默认是将数据写到。Flume本身是由Java开发的,所以需要服务器上安装好JDK1.8(注意区分Linux还是Windows系统的JDk)。一些官网和github上给的是源码,需要自己根据自己的操作系统手动编译为软件,较为复杂。文件中,但是学习过程中,希望数据能够直观展现(打印到控制台上),所以需要修改配置。#首先确认自己的Linux是Centos版本,运行命令。原创 2024-03-21 18:20:23 · 776 阅读 · 0 评论