Flume学习笔记

最新推荐文章于 2023-04-15 20:47:20 发布
最新推荐文章于 2023-04-15 20:47:20 发布
阅读量538 收藏 4
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45732538/article/details/109030298
版权

简介

概述

在这里插入图片描述

基本概念

在这里插入图片描述

流动模型

  1. 单级流动 在这里插入图片描述

  2. 多级流动
    在这里插入图片描述

  3. 扇入流动
    在这里插入图片描述

  4. 扇出流动
    在这里插入图片描述

入门

在这里插入图片描述
3. 编写格式文件
在data目录下创建一个文件，文件名，文件后缀随意
#给agent，source起名
a1.sources=s1
#给channel起名
a1.channels=c1
#给sink起名
a1.sinks=k1

#配置Source
a1.sources.s1.type=netcat //表示监听tcp请求，把tcp请求的内容作为日志数据
a1.sources.s1.bind=0.0.0.0 //配置监听的节点ip
a1.sources.s1.port=8090 //配置监听的端口
#配置Channel
a1.channels.c1.type=memory //表示临时把数据存储到内存中
a1.channels.c1.capacity=10000 //表示允许临时在内存中存储一万条数据
a1.channels.c1.transactionCapacity=100 //表示事务容量
#配置sink
a1.sinks.k1.type=logger //表示把数据打印到控制台上

#将Source和Channel进行绑定
a1.sources.s1.channels=c1
#将Sink和Channel进行绑定
a1.sinks.k1.channel=c1

执行启动命令：
…/bin/flume-ng agent -n a1 -c …/conf -f basic.conf -Dflume.root.logger=INFO,console

新开窗口，执行命令
nc hadoop01 8090 //nc表示向 hadoop01的8090端口发送一个tcp请求

组件

一.Source

1.AVRO Source

在这里插入图片描述
#编辑格式文件,先进到这个目录下
/home/software/apache-flume-1.7.0-bin/data
vim avrosource.conf
a1.sources=s1
a1.channels=c1
a1.sinks=k1
a1.sources.s1.type=avro
a1.sources.s1.bind=0.0.0.0
a1.sources.s1.port=8090
a1.channels.c1.type=memory
a1.sinks.k1.type=logger
a1.sources.s1.channels=c1
a1.sinks.k1.channel=c1
#指定启动命令
…/bin/flume-ng agent -n a1 -c …/conf -f avrosource.conf -Dflume.root.logger=INFO,console
#发送AVRO序列化之后的数据
#新开一个窗口
cd /home/software/apache-flume-1.7.0-bin/data
vim avrotest #在这个文件中添加内容
#序列化文件并发送
…/bin/flume-ng avro-client -H hadoop01 -p 8090 -c …/conf -F avrotest

Exec Source

在这里插入图片描述

Spooling Directory Source

在这里插入图片描述
在这里插入图片描述

HTTP Source

在这里插入图片描述

自定义source

在这里插入图片描述

  1. 需求：模拟：Sequence Generator Source
package cn.tedu.flume.source;

import org.apache.flume.Context;
import org.apache.flume.Event;
import org.apache.flume.EventDrivenSource;
import org.apache.flume.channel.ChannelProcessor;
import org.apache.flume.conf.Configurable;
import org.apache.flume.event.EventBuilder;
import org.apache.flume.source.AbstractSource;

import java.util.HashMap;
import java.util.Map;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;

// 模拟：Sequence Generator Source
public class AuthSource extends AbstractSource
        implements EventDrivenSource, Configurable {

    private ExecutorService es;
    private int step;

    // 获取指定的属性的值
    @Override
    public void configure(Context context) {
        // 如果指定了step的值，那么就按照指定的步长来自增
        // 如果没有指定step，那么默认自增步长为1
        //这里实际上是获得配置文件中a1.sources.s1.step的属性值，
        //后续根据指定的第一个参数的字符串内容不同，可以获取不同的属性值，后边的1
        //表示，如果不指定的默认值
        step = context.getInteger("step", 1);
    }

    @Override
    public synchronized void start() {
        es = Executors.newFixedThreadPool(5);
        // 获取Channel
        ChannelProcessor cp = this.getChannelProcessor();
        es.submit(new Add(step, cp));
    }

    @Override
    public synchronized void stop() {
        if (es != null) {
            es.shutdown();
        }
    }

}

class Add implements Runnable {

    private final int step;
    private final ChannelProcessor cp;

    public Add(int step, ChannelProcessor cp) {
        this.step = step;
        this.cp = cp;
    }

    @Override
    public void run() {
        int i = 0;
        while (true) {
            // 封装headers
            Map<String, String> headers = new HashMap<>();
            headers.put("date", System.currentTimeMillis() + "");
            // 封装body
            byte[] body = (i + "").getBytes();
            // 在Flume中，会将收集到的每一条日志封装成一个Event对象
            Event e = EventBuilder.withBody(body, headers);
            // 将Event对象放到Channel中
            cp.processEvent(e);
            i += step;
        }
    }

}

将项目进行打包，将jar包放到/home/software/apache-flume-1.7.0-bin/lib目录下
然后格式化配置文件auth.conf
a1.sources=s1

a1.channels=c1

a1.sinks=k1
a1.sources.s1.type=cn.tedu.flume.source.AuthSource #注意这里要写成类的全路径名
a1.sources.s1.port=8090

a1.channels.c1.type=memory
a1.sinks.k1.type=logger
a1.sources.s1.channels=c1
a1.sinks.k1.channel=c1
然后使用这个配置文件启动自定义source即可

Channel

  1. Memory Channel
    在这里插入图片描述
  2. File Channel
    在这里插入图片描述
    在这里插入图片描述

Sink

  1. HDFS Sink
    在这里插入图片描述
    在这里插入图片描述
  2. Logger Sink
    在这里插入图片描述
  3. File Roll Sink
    在这里插入图片描述
  4. AVRO Sink(实现多级流动、扇入流动和扇出流动）
    在这里插入图片描述
    多级流动
    在这里插入图片描述
    扇入流动
    在这里插入图片描述
    删除流动
    在这里插入图片描述
自定义sink

Custom Sink:需要自定义一个类实现Sink接口，在实现过程中，需要注意事务。
案例： 将数据写出到指定路径下

package cn.tedu.flume.sink;

import org.apache.flume.*;
import org.apache.flume.conf.Configurable;
import org.apache.flume.sink.AbstractSink;

import java.io.PrintStream;
import java.util.Map;

// 将数据写出到指定路径下
public class AuthSink extends AbstractSink implements Sink, Configurable {

    private String path;
    private PrintStream ps;

    @Override
    public void configure(Context context) {
        // 获取指定的路径
        String path = context.getString("path");
        if (path == null)
            throw new IllegalArgumentException("必须定义path属性！！！");
        this.path = path;
    }

    @Override
    public synchronized void start() {
        try {
            ps = new PrintStream(path + "/" + System.currentTimeMillis());
        } catch (Exception e) {
            e.printStackTrace();
        }
    }

    @Override
    public Status process() {
        // 获取Channel
        Channel c = this.getChannel();
        // 获取事务
        Transaction t = c.getTransaction();
        // 开启事务
        t.begin();
        // 从Channel中获取数据
        Event e;
        try {
            while ((e = c.take()) != null) {
                // 获取headers
                Map<String, String> headers = e.getHeaders();
                // 写出headers
                ps.println("headers:");
                for (Map.Entry<String, String> entry : headers.entrySet()) {
                    ps.println("\t" + entry.getKey() + "=" + entry.getValue());
                }
                // 获取body
                byte[] body = e.getBody();
                // 写出body
                ps.println("body:");
                ps.println(new String(body));
            }
            // 事务提交
            t.commit();
            return Status.READY;
        } catch (Exception ex) {
            // 事务回滚
            t.rollback();
            return Status.BACKOFF;
        } finally {
            // 关闭事务
            t.close();
        }
    }

    @Override
    public synchronized void stop() {
        if (ps != null) {
            ps.close();
        }
    }

}

将项目打包放到cd /home/software/apache-flume-1.7.0-bin/lib目录下。
然后在cd /home/software/apache-flume-1.7.0-bin/data目录下创建conf文件，内容如下，注意类的全路径和要写到的文件路径。
在这里插入图片描述

Selector

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Processor

在这里插入图片描述
data中的conf文件（因为这是在扇出的基础上来玩的），所以第一个系节点在扇出的基础上添加如下配置信息，其他的都是用扇出结构的配置即可：
在这里插入图片描述
图文描述
在这里插入图片描述
还可以用在sink输出到hdfs的场景，实现按天存放文件，配置如下：
在这里插入图片描述

Interceptor

在这里插入图片描述

多个拦截器链配置
在这里插入图片描述
search and Replace拦截器配置
在这里插入图片描述

Regex Filtering拦截器配置
在这里插入图片描述
在这里插入图片描述

qq_45732538
关注
flume学习笔记（一）：安装flume
weixin_41765352的博客
12-01 463
这是本人近期学习flume的笔记，供和我一样投身大数据技术海洋的小白有个参考。本笔记使用的flume版本：flume1.9。
Flume 学习笔记（一）使用Flume收集netcat端口通信的信息到本地文件
希望每天都能进步一点点
03-19 1487
若发现文章有误，敬请指教，感谢 文章目录运行环境一、准备 netcat 工具二、认识 Flume2.1 Flume 概念2.1 Flume 架构三、使用 Flume 收集端口的信息3.1 开启netcat3.2 创建配置文件3.3 启动flume 运行环境 Vmware 15 Flume1.9 CentOS7 操作系统 一、准备 netcat 工具 参考资料 Netcat 是一款简单的Unix工具，使用UDP和TCP协议。 它是一个可靠的容易被其他程序所启用的后台操作工具，同时它也被用作网络的.
Flume常用Channel说明
GCH6969的博客
09-02 1364
1.Channle 常用Channel 配置 Memory Channel channel 是在 Agent 上暂存 Event 的缓冲池。 Event由source添加，由sink消费后删除。 配置范例： a1.channels = c1 a1.channels.c1.type = memory a1.channels.c1.capacity = 10000 a1.channels.c1.transactionCapacity = 10000 a1.channels.c1.byteCapacityBuf
大数据-Kafka（四）
海恋北斗星
04-13 296
大数据-Kafka（七） kafka整合flume 1、安装flume 2、添加flume的配置 vi flume-kafka.conf #为我们的source channel sink起名 a1.sources = r1 a1.channels = c1 a1.sinks = k1 #指定我们的sourc...
Flume总结01_基本概念和组件说明
tyf2007635的博客
08-08 315
目录 定义 组成架构 原理 安装 安装地址 安装部署 启动命令 数据链路 Source端接入类型 source端常用方式 sink端输出类型 Sink常用输出方式 channel类型 常见拓扑结构 定义 Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构，灵活简单。 Flume最主要的作...
Flume 基本使用
热门推荐
大数据记录
12-05 1万+
1.通过telnet 进行数据的传输 1.1.0 创建一个文集夹 mkdir tmpconf 1.1.1 创建一文件并必须是（.conf）结尾 touch tmpconf/a1.conf 1.1.2添加配置信息 # 定义这个agent中各组件的名字 a1.sources = r1 a1.sinks = k1 a1.channels = c1 # 描述和配置source组...
06_Flume之各种Channel的介绍及参数解析
最新发布
weixin_40727028的博客
04-15 896
Channel被设计为Event中转临时缓冲区，存储Source收集并且没有被Sink读取的Event，为平衡Source收集和Sink读取数据的速度，可视为Flume内部的消息队列。Channel线程安全并且具有事务性，支持source写失败重复写和sink读失败重复读等操作。常用的Channel类型有Memory Channel、File Channel、KafkaChannel等。Channel类型说明基于内存的channel，实际就是将event存放于内存中一个固定大小的队列中。
flume学习笔记.pptx
09-23
flume学习笔记 ===亲测===== 笔记中所有demo都已由本人实现
flume学习笔记更新版20190927.pptx
09-27
更新flume笔记文档 其中包括flume安装，flume监控文件、目录等并保存数据 还包含flume启动脚本
Flume学习笔记（一）Flume 组成架构
an_vana的博客
08-08 2777
Flume学习笔记（一）Flume 组成架构 前言 ​ 本文主要记录我在学习 Flume 过程中的一些知识的整理与记录，预计会做成一个系列来梳理一下 Flume 中的知识，本篇的主要内容为 Flume 的组成架构，文中如有疏漏与不足欢迎指正！ 一、Flume 是什么 ​ Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构，灵活简单。其可以不断的监听数据源来将新产生的数据搬迁至目标，如将新产生的log 日志数据写入 HDFS。 二、
Flume学习
hy2014051202的博客
03-16 184
是一个日志采集框架：把数据从各种数据源采集汇总传输的各种的目的地 我们不生产数据，我们只是数据的搬运工 Source+Channel+Sink=Agent 1.配置source 2.配置channel 3.配置 sink 4.连接各个组件 采集存储 推送 flume的配置文件： 1.这些的意义就是定义source sinks channels 的变量 a1.sources=r1 a1.sink...
Flume小案例札记
Jason的专栏
11-24 237
Ø 应用场景（一）： 采集发往某个端口的所有数据、、、   #example.comf:A single-node Flume configuration #Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1   #Describe/configure the sourc
【Hadoop生态圈】2.使用Flume采集日志数据到HDFS中
皓亮君的博客
09-21 7875
使用Flume采集日志数据到HDFS中
flume 基础案例
努力吧闫小胖的博客
09-21 366
exec -->memory -->logger 监控本地文件，输出到logger 为了方便起见，将hive的日志文件作为输入源 flume agent启动→启动hive→观察agent变化 #定义source|channel|sink组件 a1.sources = r1 a1.sinks = k1 a1.channels = c1 #配置r1的属性 a1.sources.r1.ty...
Flume之使用Failover Sink Processor实现sink故障转移
TomAndersen的博客
03-05 584
前言 Failover Sink Processor 维护着Sink组中Sinks的优先级表，根据优先级尝试将Event传输给不同的Sink直到Event成功发送。当优先级高的Sink不可用时，会将Event传输给下一优先级Sink，以此来确保每个Event都能被投递。当Sink不可用时，Failover Sink Processor和Load balancing Sink Processor一...
【Flume】Flume的source、channel和sink各种配置
niuchenliang524的博客
03-07 1105
Flume各种source、channel和sink配置 source: 1、序列(seq)源：多用作测试 # 将agent组件起名 a1.sources = r1 a1.sinks = k1 a1.channels = c1 # 配置source a1.sources.r1.type =...
Flume使用
asd547249091的博客
08-27 131
flume架构介绍 flume之所以这么神奇，是源于它自身的一个设计，这个设计就是agent，agent本身是一个Java进程，运行在日志收集节点—所谓日志收集节点就是服务器节点。 agent里面包含3个核心的组件：source—->channel—–>sink,类似生产者、仓库、消费者的架构。 source：source组件是专门用来收集数据的，可以处理各种类型、各种格式的...
六阶段大数据--day06--Apache Flume/ Source案例练习/ 集群部署
weixin_58580280的博客
01-18 1744
一 Apache Flume 1． 概述 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的软件。 Flume的核心是把数据从数据源(source)收集过来，再将收集到的数据送到指定的目的地(sink)。为了保证输送的过程一定成功，在送到目的地(sink)之前，会先缓存数据(channel),待数据真正到达目的地(sink)后，flume再删除自己缓存的数据。 Flume支持定制各类数据发送方，用于收集各类型数据；同时，Flume支持定制各种数据...
辅助框架之Flume日志采集
fengge18306的博客
04-14 341
1. Flume是什么 在完整的离线大数据处理系统中，除了hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop生态体系中都有便捷的开源框架。 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统； Flume支持在日志系统中定制各类数据发送方，用...
Flume学习笔记：从源到sink的高可用日志采集系统详解
Flume学习笔记深入解析 Flume是一个由Cloudera开发并后来归属Apache的分布式、高可靠的大数据日志采集、聚合和传输系统。它最初在2010年开源，经历了从Flume-OG（0.9.2及后续版本）到Flume-NG的重大重构，以解决...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值