大数据笔记--Flume（第一篇）

于 2022-03-14 22:19:10 发布
阅读量1.2k 收藏 1
点赞数
分类专栏： 大数据04-Flume 文章标签： big data flume 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45895096/article/details/123476636
版权

目录

一、Flume的简介

1、概述

2、基本概念

3、流动模型/拓扑结构

①、单级流动

②、多级流动

③、扇入流动

④、扇出流动

⑤、复杂流动

二、执行流程

三、安装Flume

四、Source

1、AVRO Source

①、概述

②、配置属性

③、案例

2、Exec Source

①、概述

②、配置属性

③、案例

3、Spooling Directory Source

①、概述

②、配置属性

③、案例

4、Netcat Source

①、概述

②、配置属性

③、案例

5、Sequence Generator Source

①、概述

②、配置属性

③、案例

 6、HTTP Source

①、概述

③、案例

五、Custom Source

1、概述

2、步骤

 一、Flume的简介

1、概述

①、Flume原本是由Cloudera公司开发的后来贡献给了Apache的一套分布式的、可靠的、针对日志数据进行收集(collecting)、汇聚(aggregating)和传输(moving)的机制

②、在大数据中，实际开发中有超过70%的数据来源于日志，日志是大数据的基石

③、Flume针对日志提供了非常简单且灵活的流式传输机制

④、版本

        Flume0.X：又称之为Flume-og。依赖于Zookeeper，结构配置相对复杂，现在市面上已经停用这个版本

        Flume1.X：又称之为Flume-ng。不依赖于Zookeeper，结构配置相对简单，是市面上常用的版本

2、基本概念

①、Event

        在Flume中，会将收集到的每一条日志封装成一个Event对象 - 在Flume中，一个Event就对应了一条日志

        Event本质上是一个json串，固定的包含两部分：headers和body - Flume将收集到的日志封装成一个json，而这个json就是Event。Event的结构是{"headers":{},"body":""}

②、Agent：是Flume流动模型的基本组成结构，固定的包含了三个部分：

        Source：从数据源采集数据的 - collecting

        Channel：临时存储数据 - aggregating

        Sink：将数据写往目的地 - moving

3、流动模型/拓扑结构

①、单级流动

②、多级流动

理解：就像城市中从小河取水，为了防止雨天城市被水淹，我们将城市与小河相隔较远，但是取水如何方便，我们可以建立蓄水此，建立一个实际上就是三个阶段，从小河引水，蓄水池蓄水，送到城市。一个蓄水池，可以理解为单极流动，多个就可以理解为多级流动。

③、扇入流动

 理解：可以看成多个水源的合并过程。

④、扇出流动

⑤、复杂流动

复杂流动：实际过程中，根据不同的需求来将上述的流动模型进行组合，就构成了复杂流动结构

二、执行流程

1、Source会先采集数据，然后将数据发送给ChannelProcessor进行处理

2、ChannelProcessor处理之后，会将数据交给Interceptor来处理，注意，在Flume允许存在多个Interceptor来构成拦截器链

3、Interceptor处理完成之后，会交给Selector处理，Selector存在两种模式：replicating和multiplexing。Selector收到数据之后会根据对应的模式将数据交给对应的Channel来处理

4、Channel处理之后会交给SinkProcessor。SinkProcessor本质上是一个Sinkgroup，包含了三种方式：Default，Failover和Load Balance。SinkProcessor收到数据之后会根据对应的方式将数据交给Sink来处理

5、Sink收到数据之后，会将数据写到指定的目的地

三、安装Flume

1、要求虚拟机或者云主机上必须安装JDK1.8，最好安装Hadoop

2、进入/home/software目录下，上传apache-flume-1.9.0-bin.tar.gz

cd /home/software/

3、解压Flume的安装包

tar -xvf apache-flume-1.9.0-bin.tar.gz

4、让Flume和Hadoop兼容(如果没有安装Hadoop，那么这一步不需要执行)

cd apache-flume-1.9.0-bin/lib

rm -rf guava-11.0.2.jar

5、新建目录用于存储Flume的格式文件

cd ..

mkdir data

cd data

6、编辑格式文件

vim basic.conf

添加格式文件内容

# 给Agent起名
# 给Source起名
a1.sources = s1
# 给Channel起名
a1.channels = c1
# 给Sink起名
a1.sinks = k1

# 配置Source
a1.sources.s1.type = netcat
a1.sources.s1.bind = 0.0.0.0
a1.sources.s1.port = 8090

# 配置Channel
a1.channels.c1.type = memory

# 配置Sink
a1.sinks.k1.type = logger

# 将Source和Channel绑定
a1.sources.s1.channels = c1
# 将Sink和Channel绑定
a1.sinks.k1.channel = c1

7、启动Flume

../bin/flume-ng agent -n a1 -c ../conf -f basic.conf -Dflume.root.logger=INFO,console

参数解释:

参数

解释

-n,--name

指定要运行的Agent的名字

-c,--conf

指定Flume运行的原生配置

-f,--conf-file

指定要运行的文件

-Dflume.root.logger

指定Flume本身运行日志的打印级别及打印方式

四、Source

1、AVRO Source

①、概述

AVRO Source监听指定的端口，接收其他节点发送来的被AVRO序列化的数据

AVRO Source结合AVRO Sink可以实现更多的流动模型，包括多级流动、扇入流动以及扇出流动

②、配置属性

属性

解释

type

必须是avro

bind

要监听的主机的主机名或者IP

port

要监听的端口

③、案例

编辑格式文件vim avrosource.conf，在格式文件添加指定的内容

a1.sources = s1
a1.channels = c1
a1.sinks = k1


# 配置AVRO Source
# 必须是avro
a1.sources.s1.type = avro
# 指定要监听的主机
a1.sources.s1.bind = hadoop01
# 指定要监听的端口
a1.sources.s1.port = 8090

a1.channels.c1.type = memory

a1.sinks.k1.type = logger

a1.sources.s1.channels = c1
a1.sinks.k1.channel = c1

启动Flume

../bin/flume-ng agent -n a1 -c ../conf -f avrosource.conf -Dflume.root.logger=INFO,console

在另一个窗口中，进入指定目录，编辑文件

cd /home/software/apache-flume-1.9.0-bin/data

vim a.txt

运行AVRO客户端

../bin/flume-ng avro-client -H hadoop01 -p 8090 -F a.txt

 在flume窗口可以看到监听内容

2、Exec Source

①、概述

Exec Source会运行指定的命令，然后将命令的执行结果作为日志进行收集

利用这个Source可以实现对文件或者其他操作的实时监听

②、配置属性

属性

解释

type

必须是exec

command

要执行和监听的命令

shell

最好指定这个属性，表示指定Shell的运行方式

③、案例

需求：实时监听/home/a.txt文件的变化

编辑vim execsource.conf格式文件，添加如下内容

a1.sources = s1
a1.channels = c1
a1.sinks = k1

# 配置Exec Source
# 必须是exec
a1.sources.s1.type = exec
# 指定要运行的命令
a1.sources.s1.command = tail -F /home/a.txt
# 指定Shell的运行方式/类型
a1.sources.s1.shell = /bin/bash -c

a1.channels.c1.type = memory

a1.sinks.k1.type = logger

a1.sources.s1.channels = c1
a1.sinks.k1.channel = c1

启动Flume

 ../bin/flume-ng agent -n a1 -c ../conf -f execsource.conf -Dflume.root.logger=INFO,console

修改文件内容

echo "hello java" >> a.txt

在一个窗口执行操作

flume窗口就会监听到文件变化

3、Spooling Directory Source

①、概述

Spooling Directory Source是监听指定的目录，自动将目录中出现的新文件的内容进行收集

如果不指定，默认情况下，一个文件被收集之后，会自动添加一个后缀.COMPLETED，通过通过属性fileSuffix来修改

②、配置属性

属性

解释

type

必须是spooldir

spoolDir

要监听的目录

fileSuffix

收集之后添加的文件后缀，默认是.COMPLETED

③、案例

编辑vim spoolingdirsource.conf格式文件，添加如下内容

a1.sources = s1
a1.channels = c1
a1.sinks = k1

# 配置Spooling Directory Source
# 必须是spooldir
a1.sources.s1.type = spooldir
# 指定要监听的目录
a1.sources.s1.spoolDir = /home/flumedata

a1.channels.c1.type = memory

a1.sinks.k1.type = logger

a1.sources.s1.channels = c1
a1.sinks.k1.channel = c1

启动flume

../bin/flume-ng agent -n a1 -c ../conf -f spoolingdirsource.conf -Dflume.root.logger=INFO,console

在另一个窗口操作

 我们会发现，监听窗口将a.txt的文件内容放到flumedata这个操作日志打印出来了 

4、Netcat Source

①、概述

Netcat Source在Flume1.9之后分为Netcat TCP Source和Netcat UDP Source

如果不指定，那么Netcat Source监听的是TCP请求

②、配置属性

属性

解释

type

如果监听TCP请求，那么使用netcat；如果监听UDP请求，那么使用netcatudp

bind

要监听的主机的主机名或者IP

port

要监听的端口

③、案例

上面入门案例监听的是TCP请求。

现在我们编辑vim netcatudpsource.conf格式文件，添加如下内容(以UDP为例)：

a1.sources = s1
a1.channels = c1
a1.sinks = k1

# 配置Netcat UDP Source
# 必须是netcatudp
a1.sources.s1.type = netcatudp
# 指定要监听的主机
a1.sources.s1.bind = 0.0.0.0
# 指定要监听的端口
a1.sources.s1.port = 8090

a1.channels.c1.type = memory

a1.sinks.k1.type = logger

a1.sources.s1.channels = c1
a1.sinks.k1.channel = c1

启动Flume

../bin/flume-ng agent -n a1 -c ../conf -f netcatudpsource.conf -Dflume.root.logger=INFO,console

启动nc

nc -u hadoop01 8090

 

5、Sequence Generator Source

①、概述

Sequence Generator Source本质上就是一个序列产生器，会从0开始每次递增1个单位

如果不指定，默认情况下递增到Long.MAX_VALUE

②、配置属性

属性

解释

type

必须是seq

totalEvents

递增的结束范围

③、案例

编辑vim seqsource.conf格式文件，添加如下内容

a1.sources = s1
a1.channels = c1
a1.sinks = k1

# 配置Sequence Generator Source
# 必须是seq
a1.sources.s1.type = seq
# 指定结束范围
a1.sources.s1.totalEvents = 10

a1.channels.c1.type = memory

a1.sinks.k1.type = logger

a1.sources.s1.channels = c1
a1.sinks.k1.channel = c1

启动flume

../bin/flume-ng agent -n a1 -c ../conf -f seqsource.conf -Dflume.root.logger=INFO,console

 6、HTTP Source

①、概述

HTTP Source用于监听HTTP请求，但是只能监听POST和GET请求

GET请求只用于试验阶段，所以实际过程中只用这个Source来监听POST请求

②、配置属性

属性

解释

type

必须是http

port

要监听的端口

③、案例

编辑vim httpsource.conf格式文件，添加如下内容

a1.sources = s1
a1.channels = c1
a1.sinks = k1

# 配置HTTP Source
# 必须是http
a1.sources.s1.type = http
# 指定要监听的端口
a1.sources.s1.port = 8090

a1.channels.c1.type = memory

a1.sinks.k1.type = logger

a1.sources.s1.channels = c1
a1.sinks.k1.channel = c1

启动flume

../bin/flume-ng agent -n a1 -c ../conf -f httpsource.conf -Dflume.root.logger=INFO,console

发送POST请求

curl -X POST -d '[{"headers":{"kind":"test","class":"bigdata"},"body":"testing"}]' http://hadoop01:8090http://hadoop01:8090http://hadoop01:8090

五、Custom Source

1、概述

①、自定义Source：需要定义一个类实现Source接口的子接口：EventDrivenSource或者PollableSource

EventDrivenSource：事件驱动源 - 被动型Source。需要自己定义线程来获取数据处理数据

PollableSource：拉取源 - 主动型Source。提供了线程来获取数据，只需要考虑怎么处理数据即可

②、除了实现上述两个接口之一，这个自定义的类一般还需要考虑实现Configurable接口，通过接口的方法来获取指定的属性

2、步骤

①、需要构建Maven工程，导入对应的POM依赖

<dependencies>
        <dependency>
            <groupId>org.apache.flume</groupId>
            <artifactId>flume-ng-core</artifactId>
            <version>1.9.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flume</groupId>
            <artifactId>flume-ng-sdk</artifactId>
            <version>1.9.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flume</groupId>
            <artifactId>flume-ng-configuration</artifactId>
            <version>1.9.0</version>
        </dependency>
    </dependencies>

②、定义类继承AbstractSource，实现EventDrivenSource和Configurable接口

③、覆盖configure，start和stop方法

package org.example.flume.source;

import org.apache.flume.Context;
import org.apache.flume.Event;
import org.apache.flume.EventDrivenSource;
import org.apache.flume.channel.ChannelProcessor;
import org.apache.flume.conf.Configurable;
import org.apache.flume.event.EventBuilder;
import org.apache.flume.source.AbstractSource;

import java.nio.charset.StandardCharsets;
import java.util.HashMap;
import java.util.Map;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;

// 模拟：Sequence Generator Source
public class AuthSource extends AbstractSource implements EventDrivenSource, Configurable {
    private ExecutorService es;
    private  long end;
    private  long step;
    // 启动Source
    @Override
    public synchronized void start() {
        //构建线程池
        es = Executors.newFixedThreadPool(5);
        // 获取Channel处理器
        ChannelProcessor cp = this.getChannelProcessor();
        //提交任务
        es.submit(new Add(end, step,cp));
    }

    @Override
    public synchronized void stop() {
        if (es != null){
            es.shutdown();
        }

    }

    //通过这个方法来获取指定的属性值
    @Override
    public void configure(Context context) {
        //获取自增的最大值，如果不指定，默认是Long.MAX_VALUE
        end = context.getLong("end", Long.MAX_VALUE);
        //获取自增的步长，如果不指定，默认是1
        step = context.getLong("step", 1L);
    }
}

class Add implements Runnable{
    private  final long end;
    private final long step;
    private  final ChannelProcessor cp;

    Add(long end, long step,ChannelProcessor cp) {
        this.end = end;
        this.step = step;
        this.cp=cp;
    }

    @Override
    public void run() {
        for(long i=0;i<end;i+=step){
            // 在Flume中，数据都是以Event形式存在的
            // 封装body
            byte[] body = (i+"").getBytes(StandardCharsets.UTF_8);
            // 封装headers
            Map<String,String> headers = new HashMap<>();
            headers.put("time",System.currentTimeMillis()+"");
            // 构建Event对象
            Event e = EventBuilder.withBody(body,headers);
            // 将Event对象交给Channel处理器处理
            cp.processEvent(e);
        }
    }
}

④、定义完成之后，需要将类打成jar包放到Flume安装目录的lib目录下

 

⑤、编写格式文件，例如

a1.sources = s1
a1.channels = c1
a1.sinks = k1

# 配置自定义Source
# 必须是类的全路径名
a1.sources.s1.type =org.example.flume.source.AuthSource
# 指定结束范围
a1.sources.s1.end = 100
# 指定递增的步长
a1.sources.s1.step = 5

a1.channels.c1.type = memory

a1.sinks.k1.type = logger

a1.sources.s1.channels = c1
a1.sinks.k1.channel = c1

⑥、启动flume

../bin/flume-ng agent -n a1 -c ../conf -f authsource.conf -Dflume.root.logger=INFO,console

是小先生
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
大数据组件-Flume高可用集群搭建
03-28
Flume是一个分布式、可靠和高可用性的数据采集工具，用于将大量数据从各种源采集到Hadoop生态系统中进行处理。在大型互联网企业的数据处理任务中，Flume被广泛应用。 Flume逻辑上分三层架构：agent，collector，...
大数据平台-Flume培训
03-03
大数据平台-Flume培训
Flume -- 开源分布式日志收集系统
weixin_33875564的博客
01-14 174
　　Flume是Cloudera提供的一个高可用的、高可靠的开源分布式海量日志收集系统，日志数据可以经过Flume流向需要存储终端目的地。这里的日志是一个统称，泛指文件、操作记录等许多数据。 一、Flume基础知识 1、数据流模型 　 Flume的核心是把数据从数据源收集过来，再送到目的地。为了保证输送一定成功，在送到目的地之前，会先缓存数据，待数据真正到达目的地后，删除自己缓存的数据。 ...
Flume使用详解（二）
LZX的博客
02-20 213
Flume的用法 flume可以支持多级flume的agent，即flume可以前后相继形成多级的复杂流动，例如sink可以将数据写到下一个agent的source中，这样的话就可以连成串了，可以整体处理了。 置多个agent的数据流（多级流动） 数据流合并（扇入流） 在做日志收集的时候一个常见的场景就是，大量的生产日志的客户端发送数据到少量的附属于存储子系统的消费者agent。例如，从数百个w...
flume执行流程及源码解读
weixin_40809627的博客
12-30 863
1、flume 指定配置文件启动 bin/flume-ng agent -c conf -f conf/LogDetailExpose4KafkaFlume.conf -n aApacheFlume --classpath /home/dmpflume-jar-with-dependencies.jar -Dflume.root.logger=INFO,console #注意：因为需要指定自己实现...
大数据之flume（一） --- Flume介绍，Source、Channel、Sink，安装flume，配置和使用flume
xcvbxv01的博客
09-19 331
一、Flume介绍 ---------------------------------------------------------- 1.是一种收集，移动，聚合大量日志数据的服务 2.基于流数据的架构，用于在线日志分析处理 3.在生产和消费者之间，起到有个缓冲的作用 4.提供了实务保证，确保消息一定被分发和处理 5.输入数据源多样，输出数据格式多元 ...
SQL增删改查基本语法整理
一条游向寒江的鱼
10-31 2429
创建数据库： create database dbname 删除数据库： drop database dbname 增：有两种方法 1.使用insert插入单行数据，无需指定要插入数据的列名，只需提供被插入的值即可 INSERT INTO table_name VALUES (value1,value2,value3,...) 2.使用insert,select语句将现有表中的 数据添加到已有的新表中，需要指定列名及被插入的值。 INSERT INTO table_name (column1,c
大数据教程-Flume安装使用实录.pdf
07-26
大数据教程-Flume安装使用实录，安装、部署细节详细步骤
spark-streaming-flume_2.11-2.1.0.jar
03-19
spark-streaming-flume_2.11-2.1.0.jar
大数据课程-Hadoop集群程序设计与开发-8.Flume日志采集系统_lk_edit.pptx
01-01
大数据课程——Hadoop集群程序设计与开发，教师版，提供教学大纲、教案、教学设计、实训文档等，课程内容包含教学准备环境、软件安装、作业、教学文档、演示视频，花费巨额时间亲自制作，下载后可私信提供上述所有...
02. flume-ng 核心源码解析【小明同学】
u011046509的博客
04-06 591
文章目录flume-ng 核心代码解析org.apache.flume.node.Application#main 解析PollingPropertiesFileConfigurationProvider 构造函数Application 构造函数eventBus.register(application)然后我们继续看下 application.start() 方法，不用想，我们的核心入口就在这个 start 方法里了。接下来我们就看下 org.apache.flume.lifecycle.Lifecycl
flume自定义source
程序员Monkey的专栏
07-03 7910
我们了解到了flume的底层实现原理之后，我们不仅可以根据flume自身提供的API，实现Source的定义，还可以根据项目的实际需求，编写我们自己的Source，比如Source可以是从网络上下载一个文件，亦或者是从数据库中查询数据，总之都能灵活实现我们自己的需求！ 一、新建java工程项目，在项目中添加flume的核心jar包： flume-ng-configuration-1.7.0.j
flume组件HTTPSource解析
FengYeDeYanLei的博客
10-14 4696
HTTPSource是flume的一个专门监听http请求的组件，主要负责在机器中打开某个端口，接收日志请求，并将日志发送到chanel中。
Flume详解
hello，Mr张
12-06 3447
1、Flume简介 （1）、flume提供分布式，可靠的，对海量的日志进行搞笑收集，聚集，移动的服务，flume只能在unix环境下运行； （2）、flume基于流式架构，容错性强，也很灵活简单； （3）、flume，kafka用来进行实时数据收集，spark、storm用来实时处理数据，impala用来实时查询； 二、Flume架构 2.1、source 用于采集收据，source是产生数据流...
flume的基本概念，数据流模型
weixin_34269583的博客
01-20 223
2019独角兽企业重金招聘Python工程师标准>>> ...
flume简介及原理概述
snail_bing的博客
08-17 1955
Apache Flume概述 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。目前是Apache的顶级项目。 当前Flume有两个版本Flume 0.9X版本的统称Flume-og，Flume1.X版本的...
flume 一级配置和多级配置详解
倪默遥
06-07 3739
    个人不太喜欢过多的介绍理论，理论在任何一个博客中都能查到，如果下个了解flume 的工作原理，请到别处寻找，如果子昂要找到方案的解决办法，恭喜你找对了。同时本人不喜欢专门排版，太浪费时间，还不如利用时间，多研究一下干货。望谅解。    在实际应用中，主要多级flume搭建比较常用，在此仅仅以多级 flume 为例，进行配置和研究。1 Flume的安装1.1 安装JDK具体方法略。网上很多，...
Flume写入HDFS的文件出现SEQ !org.apache.hadoop.io.LongWritable“org.apache.hadoop.io.BytesWritable
食鱼酱的博客
07-16 1690
Flume写入HDFS的文件出现SEQ !org.apache.hadoop.io.LongWritable"org.apache.hadoop.io.BytesWritable 用Sublime打开后是这样的乱码 查找官网后，发现是fileType没配置 fileType的默认值是SequenceFile，也就是二进制文件，所以看起来像是乱码。 解决方案 在启动的conf文件上补充hdfs.fileType=DataStream即可 ...
大数据技术系列课程 大数据采集及预处理 分布式、可靠、和高可用的海量日志采集、聚合和传输系统 flume 共37页.pptx
最新发布
12-02
flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力?。flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位，它携带日志数据(字节数组形式)并且携带有头信息，这些Event由Agent外部的Source生成，当Source捕获事件后会进行特定的格式化，然后Source会把事件推入(单个或多个)Channel中。你可以把Channel看作是一个缓冲区，它将保存事件直到Sink处理完该事件。Sink负责持久化日志或者把事件推向另一个Source。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

是小先生

知识是无价的，白嫖也可以的。

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值