Flume综合案例

最新推荐文章于 2024-05-12 15:41:57 发布
最新推荐文章于 2024-05-12 15:41:57 发布
阅读量465 收藏
点赞数
分类专栏： # Flume 文章标签： flume big data hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36593748/article/details/122180742
版权

文章目录

Flume案例

1、简单案例

需求：

监听并收集端口44444的数据，打印至控制台。

环境：

#安装netcat工具
sudo yum install -y nc
#检查44444端口是否占用
sudo netstat -nlp | grep 44444

实现步骤：

  1. 创建nc-flume-log.conf

    • 为sources、sinks、channels命名
    • 配置指定source
    • 配置指定sink
    • 配置指定channel
    • 配置三者的连接关系
    # 配置Agent a1各个组件的名称
a1.sources = r1    #Agent a1 的source有一个，叫做r1
a1.sinks = k1      #Agent a1 的sink也有一个，叫做k1
a1.channels = c1   #Agent a1 的channel有一个，叫做c1

# 配置Agent a1的source r1的属性
a1.sources.r1.type = netcat       #使用的是NetCat TCP Source，这里配的是别名，Flume内置的一些组件都是有别名的，没有别名填全限定类名
a1.sources.r1.bind = localhost    #NetCat TCP Source监听的hostname，这个是本机
a1.sources.r1.port = 44444        #监听的端口

# 配置Agent a1的sink k1的属性
a1.sinks.k1.type = logger         # sink使用的是Logger Sink，这个配的也是别名

# 配置Agent a1的channel c1的属性，channel是用来缓冲Event数据的
a1.channels.c1.type = memory                #channel的类型是内存channel，顾名思义这个channel是使用内存来缓冲数据
a1.channels.c1.capacity = 1000              #内存channel的容量大小是1000，注意这个容量不是越大越好，配置越大一旦Flume挂掉丢失的event也就越多
a1.channels.c1.transactionCapacity = 100    #source和sink从内存channel每次事务传输的event数量

# 把source和sink绑定到channel上
a1.sources.r1.channels = c1       #与source r1绑定的channel有一个，叫做c1
a1.sinks.k1.channel = c1          #与sink k1绑定的channel有一个，叫做c1

  2. 启动flume监听端口

    [hadoop@hadoop102 flume]$ bin/flume-ng agent --conf conf/ --name a1 --conf-file conf/nc-flume-log.conf -Dflume.root.logger=INFO,console
[hadoop@hadoop102 flume]$ bin/flume-ng agent -c conf/ -n a1 -f conf/nc-flume-log.conf -Dflume.root.logger=INFO,console

    参数说明：

    –conf/-c：表示配置文件存储在conf/目录

    –name/-n：表示给agent起名为a1

    –conf-file/-f：flume本次启动读取的配置文件是在conf文件夹下的nc-flume-log.conf文件。

    -Dflume.root.logger=INFO,console ：表示运行时动态修改参数属性值，并将控制台日志打印级别设置为级别。日志级别包括log、info、warn、error。该配置将覆盖日志参数配置文件中的相应配置。

  3. 使用netcat向本机44444端口发送内容测试

    nc localhost 44444

2、实时监控目录下的多个追加文件

Taildir Source适合用于监听多个实时追加的文件，并且能够实现断点续传。

Taildir Source维护了一个json格式的position File，其会定期的往position File中更新每个文件读取到的最新的位置，因此能够实现断点续传。

需求：

使用Flume监听整个目录的实时追加文件，并上传至HDFS

步骤：

  1. 创建配置文件taildir-flume-hdfs.conf

    a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = TAILDIR
a1.sources.r1.filegroups = f1 f2
# 必须精确到文件，可以写匹配表达式匹配多个文件
a1.sources.r1.filegroups.f1 = /opt/module/flume/files1/.*file.*
a1.sources.r1.filegroups.f2 = /opt/module/flume/files2/.*log.*
# 实现断点续传的文件存放位置 不改有默认位置也能实现断点续传
a1.sources.r1.positionFile = /opt/module/flume/taildir_position.json

# Describe the sink
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://hadoop102:8020/flume/%Y%m%d/%H
#上传文件的前缀
a1.sinks.k1.hdfs.filePrefix = log-
#是否使用本地时间戳
a1.sinks.k1.hdfs.useLocalTimeStamp = true
#积攒多少个Event才flush到HDFS一次
a1.sinks.k1.hdfs.batchSize = 100
#设置文件类型，可支持压缩
a1.sinks.k1.hdfs.fileType = DataStream

#多久生成一个新的文件
a1.sinks.k1.hdfs.rollInterval = 30
#设置每个文件的滚动大小大概是128M
a1.sinks.k1.hdfs.rollSize = 134217700
#文件的滚动与Event数量无关
a1.sinks.k1.hdfs.rollCount = 0

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

  2. 测试

    启动监控文件夹命令

    [hadoop@hadoop102 flume]$ bin/flume-ng agent --conf conf/ --name a1 --conf-file conf/taildir-flume-hdfs.conf

    创建/opt/module/flume/files1/目录、file1文件和/opt/module/flume/files2/目录、log1文件

    echo hello >> file1
echo hello1 >> log1

  3. 查看hdfs中文件夹

3、Flume企业开发案例之复制(单数据源多出口)

需求：

使用Flume-1监控文件变动，Flume-1将变动内容传递给Flume-2，Flume-2负责存储到HDFS。同时Flume-1将变动内容传递给Flume-3，Flume-3负责输出到Local FileSystem。

在这里插入图片描述

步骤：

  1. 在/opt/module/flume/conf目录下创建group1文件夹准备flume配置文；在/opt/module/flume/目录下创建flume3datas文件夹，准备接受本地数据

  2. 配置文件flume1

    # Name the components on this agent
a1.sources = r1
a1.sinks = k1 k2
a1.channels = c1 c2

# Describe/configure the source
a1.sources.r1.type = TAILDIR
a1.sources.r1.filegroups = f1 f2
a1.sources.r1.filegroups.f1 = /opt/module/flume/files1/.*file.*
a1.sources.r1.filegroups.f2 = /opt/module/flume/files2/.*log.*
a1.sources.r1.positionFile = /opt/module/flume/taildir_position.json
# 将数据流复制给所有channel 默认参数可以不写
a1.sources.r1.selector.type = replicating

# Describe the sink
# sink端的avro是一个数据发送者
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = hadoop102 
a1.sinks.k1.port = 4141

a1.sinks.k2.type = avro
a1.sinks.k2.hostname = hadoop102
a1.sinks.k2.port = 4142

# Describe the channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

a1.channels.c2.type = memory
a1.channels.c2.capacity = 1000
a1.channels.c2.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1 c2
a1.sinks.k1.channel = c1
a1.sinks.k2.channel = c2

  3. 配置文件flume2

    # Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source

a1.sources.r1.type = avro
a1.sources.r1.bind = hadoop102
a1.sources.r1.port = 4141


# Describe the sink
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://hadoop102:8020/flume1/%Y%m%d/%H
# 文件的前缀
a1.sinks.k1.hdfs.filePrefix = log-

#多久生成一个新的文件
a1.sinks.k1.hdfs.rollInterval = 30
#设置每个文件的滚动大小大概是128M
a1.sinks.k1.hdfs.rollSize = 134217700
#文件的滚动与Event数量无关
a1.sinks.k1.hdfs.rollCount = 0
# 使用本地的时间戳
a1.sinks.k1.hdfs.useLocalTimeStamp = true
#设置文件类型，可支持压缩
a1.sinks.k1.hdfs.fileType = DataStream

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

  4. 配置文件flume3

    # Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = avro
a1.sources.r1.bind = hadoop102
a1.sources.r1.port = 4142

# Describe the sink
a1.sinks.k1.type = file_roll
a1.sinks.k1.sink.directory = /opt/module/flume/flume3datas

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

  5. 启动各flume进程

  6. 修改指定文件夹下的文件进行测试

    echo hello >> file1.txt

4、Flume企业开发案例之多路复用及拦截器的使用

​ 在实际的开发中，一台服务器产生的日志类型可能有很多种，不同类型的日志可能需要发送到不同的分析系统。此时会用到Flume的channel selecter中的Multiplexing结构。Multiplexing的原理是，根据event中Header的某个key的值，将不同的event发送到不同的Channel中，所以我们需要自定义一个Interceptor，为不同类型的event的Header中的key赋予不同的值。

需求：

使用Flume采集服务器本地日志，需要按照日志类型的不同，将不同种类的日志发往不同的分析系统。要求以数字（单个）和字母（单个）模拟不同类型的日志，我们需要自定义interceptor区分数字和字母，将其分别发往不同的分析系统（Channel）。

在这里插入图片描述

步骤：

  1. 拦截器设计

    pom文件配置

    <dependencies>
	<dependency>
		<groupId>org.apache.flume</groupId>
		<artifactId>flume-ng-core</artifactId>
		<version>1.9.0</version>
	</dependency>
</dependencies>

    拦截器

    import org.apache.flume.Context;
import org.apache.flume.Event;
import org.apache.flume.interceptor.Interceptor;

import java.util.List;
import java.util.Map;

/**
 *
 * 1. 实现interceptor接口
 * 2. 实现接口的4个方法
 * 3. 实现一个静态内部类创建拦截器
 */
public class MyInterceptor implements Interceptor {
    /**
     * 初始化方法
     */
    @Override
    public void initialize() {

    }

    /**
     * 处理单条event
     * @param event
     * @return
     */
    @Override
    public Event intercept(Event event) {
        // 需要配合channel选择器使用  向headers当中put对应的参数
        // 根据传入的数据 首位是数字还是字母  判断他是不同类型的日志
        byte[] body = event.getBody();
        byte b = body[0];
        Map<String, String> headers = event.getHeaders();

        if (b >= '0' && b <= '9'){
            // b为数字
            headers.put("type","number");
        }else if((b >= 'a' && b <= 'z') || (b >= 'A' && b <= 'Z')){
            // b 为字母
            headers.put("type","letter");
        }

        // 可以不需要在写放回headers
        event.setHeaders(headers);

        return event;
    }

    /**
     * 处理多条event
     * @param events
     * @return
     */
    @Override
    public List<Event> intercept(List<Event> events) {
        for (Event event : events) {
            intercept(event);
        }
        return events;
    }

    /**
     * close方法
     */
    @Override
    public void close() {

    }

    // 静态内部类
    public static class MyBuilder implements Builder{

        /**
         * 创建拦截器
         * @return
         */
        @Override
        public Interceptor build() {
            return new MyInterceptor();
        }

        /**
         * 配置方法
         * @param context
         */
        @Override
        public void configure(Context context) {

        }
    }
}

  2. 打包上传至flume中lib目录下

  3. 配置文件flume1

    # Name the components on this agent
a1.sources = r1
a1.sinks = k1 k2
a1.channels = c1 c2

# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444


a1.sources.r1.selector.type = multiplexing
# 使用headers中的哪些参数
a1.sources.r1.selector.header = type
a1.sources.r1.selector.mapping.number = c1
a1.sources.r1.selector.mapping.letter = c2

# a1.sources.r1.selector.default = c4

# 拦截器配置
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type = com.atguigu.flume.MyInterceptor$MyBuilder

# Describe the sink
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = hadoop102
a1.sinks.k1.port = 4141

a1.sinks.k2.type = avro
a1.sinks.k2.hostname = hadoop102
a1.sinks.k2.port = 4142

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

a1.channels.c2.type = memory
a1.channels.c2.capacity = 1000
a1.channels.c2.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1 c2
a1.sinks.k1.channel = c1
a1.sinks.k2.channel = c2

  4. 配置文件flume2

    a1.sources = r1
a1.sinks = k1
a1.channels = c1

a1.sources.r1.type = avro
a1.sources.r1.bind = hadoop102
a1.sources.r1.port = 4141

a1.sinks.k1.type = logger

a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

a1.sinks.k1.channel = c1
a1.sources.r1.channels = c1

  5. 配置文件flume3

    a1.sources = r1
a1.sinks = k1
a1.channels = c1

a1.sources.r1.type = avro
a1.sources.r1.bind = hadoop102
a1.sources.r1.port = 4142

a1.sinks.k1.type = logger

a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

a1.sinks.k1.channel = c1
a1.sources.r1.channels = c1

  6. 测试

5、Flume企业开发案例之聚合(多数据源一出口)

需求：

hadoop102上的Flume-1监控文件/opt/module/flume/files1/.*file.*，

hadoop103上的Flume-2监控某一个端口的数据流，

Flume-1与Flume-2将数据发送给hadoop104上的Flume-3，Flume-3将最终数据打印到控制台。

在这里插入图片描述

环境：

  1. 分发flume和环境变量文件至hadoop103、hadoop104

步骤：

  1. 配置文件flume1

    # Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = TAILDIR
a1.sources.r1.filegroups = f1 f2
a1.sources.r1.filegroups.f1 = /opt/module/flume-1.9.0/flume/files1/.*file.*
a1.sources.r1.filegroups.f2 = /opt/module/flume-1.9.0/flume/files2/.*log.*
a1.sources.r1.positionFile = /opt/module/flume/taildir_position.json


# Describe the sink
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = hadoop104
a1.sinks.k1.port = 4141


# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

  2. 配置文件flume2

    # Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

# Describe the sink
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = hadoop104
a1.sinks.k1.port = 4141

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

  3. 配置文件flume3

    # Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source

a1.sources.r1.type = avro
a1.sources.r1.bind = hadoop104
a1.sources.r1.port = 4141

# Describe the sink
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

  4. 启动

    [hadoop@hadoop102 flume]$ bin/flume-ng agent --conf conf/ --name a1 --conf-file conf/group3/flume1.conf
[hadoop@hadoop102 flume]$ bin/flume-ng agent --conf conf/ --name a1 --conf-file conf/group3/flume2.conf
[hadoop@hadoop102 flume]$ bin/flume-ng agent --conf conf/ --name a1 --conf-file conf/group3/flume3.conf

  5. 测试

    在hadoop102上向/opt/module/flume目录下的group.log追加内容

    echo 'hello' > file1
echo 'hello' > log1

    在hadoop103上向44444端口发送数据

  6. 查看hadoop104的变化

MelodyYN
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Flume之项目实战
lslslslslss的博客
12-27 666
目录 一、多路复用及拦截器的使用 二、复制 三、聚合 一、多路复用及拦截器的使用 需求：使用Flume采集服务器本地日志，需要按照日志类型的不同，将不同种类的日志发往不同的分析系统。（区分数字和字母，将其发往不同的系统） 一台服务器产生的日志类型可能有很多种，不同类型的日志可能需要发送到不同的分析系统。此时会用到Flume的channelselecter中的Multiplexing结构，Multiplexing的原理是，根据event中Header的某个key的值...
【ETL工具】Flume 入门案例实战
康师傅没有眼泪
11-14 1663
Flume 的核心是把数据从数据源(source)收集过来，再将收集到的数据送到 指定的目的地(sink)。但是以上的这些拦截器，不能改变原有日志数据的内容或者对 日志信息添加一定的处理逻辑，当一条日志信息有几十个甚至上百个字段的时候， 在传统的 Flume 处理下，收集到的日志还是会有对应这么多的字段，也不能对你 想要的字段进行对应的处理。同个节点内，Source写入数据到Channel,数据在一个批次内的数据出现异常，则不写入到Channel，已接收到的部分数据直接抛弃，靠上一个节点重发数据。
最新【Flume】（六）Flume 开发实战案例分享_flume 多数据源，大数据开发自定义view面试
最新发布
2401_84166811的博客
05-12 1011
使用 Flume 监听整个目录的文件。
Flume5 实时监控目录下多个新文件
Auraros的博客
11-23 277
Flume5 实时监控目录下多个新文件 案例需求： 使用Flume监听整个目录的文件，并上传至HDFS 需求分析： 实践步骤 创建配置文件 flume-dir-hdfs.conf 创建一个文件 [atguigu@hadoop102 job]$ touch flume-dir-hdfs.conf 打开文件 [atguigu@hadoop102 job]$ vim flume-dir-hdfs.conf 添加如下内容 a3.sources = r3 a3.sinks = k3 a3.channels
Flume框架
weixin_43956381的博客
12-26 461
第1章 Flume概述 1.1 Flume定义 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。 1.2 Flume基础架构 Flume组成架构如图1-1所示： 下面我们来详细介绍一下Flume架构中的组件： 1.2.1 Agent Agent是一个JVM进程，它以事件的形式将数据从源头送至目的。 Agent主要...
flume综合案例
bxf_spark的博客
10-09 1412
综合案例 1、案例场景/需求 A、B 两台日志服务机器实时生产日志主要类型为 access.log、nginx.log、web.log 现在要求： 把 A、B 机器中的 access.log、nginx.log、web.log 采集汇总到 C 机器上然后统一收集到 hdfs 中。 但是在 hdfs 中要求的目录为： /source/logs/access/20160101/** /source/l...
基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例.txt
10-13
基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例.txt基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例.txt基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例.txt基于Flume+Kafka+Hbase+Flink+FineBI的实时综合...
09.flume采集配置案例--多级agent串联.mp4
04-29
09.flume采集配置案例--多级agent串联.mp4
Flume日志采集系统案例-教案.pdf
07-10
Flume 是一个分布式、可靠且可用于有效收集、聚合和移动大量...总之，Flume 日志采集系统案例教学旨在帮助学生掌握大数据环境下日志数据的收集和管理，通过理论与实践相结合的教学方式，提高他们的专业技能和综合素质。
大数据综合案例-网站日志分析
12-28
"大数据综合案例-网站日志分析" 大数据综合案例-网站日志分析，主要是文档，使用大数据离线分析日志。以下是对该项目的详细解读和知识点总结： 项目介绍 该项目的目的是通过对技术学习论坛的 Apache Common 日志...
新闻、健身实时数据 基于spark+kafka+flume+echarts可视化+hadoop
01-08
该项目是关于实时数据处理和可视化的综合应用，利用了大数据技术栈中的多个组件，包括Spark、Kafka、Flume、Echarts以及Hadoop。以下是这些技术在该项目中的具体作用和相关知识点： 1. **Spark**: Apache Spark是一...
flume 真实案例配置文件
10-18
flume agent收集数据 一个源对于两个sink 同时输出到hdfs和kafka 的配置文件，注意其中的 source绑定channel时候 channel1 channel2 不能分开写，该配置文件已经过集群实验成功收集到数据的
Flume高级应用
a805814077的博客
10-28 848
Flume的一些实战案例
flume使用之flume+hive 实现日志离线收集、分析
热门推荐
赶路人儿
09-29 1万+
在如今互联网行业中，数据的收集特别是日志数据的收集已经成为了系统的标配。将用户行为日志或者线上系统生产的数据通过flume收集起来，存放到数据仓库（hive）中，然后离线通过sql进行统计分析，这一套数据流的建设对系统有非常重要的意义。   1、思路： 1）线上系统通过log4j将数据打印到本地磁盘上； 2）在线上系统服务器上安装flume，作为agent使用exec source将线上系...
Flume 简单案例
u011249837的专栏
12-14 642
1）采集目录到 HDFS 采集需求：服务器的某特定目录下，会不断产生新的文件，每当有新文件出现， 就需要把文件采集到 HDFS 中去 根据需求，首先定义以下 3 大要素 采集源，即 source——监控文件目录 : spooldir 下沉目标，即 sink——HDFS 文件系统 : hdfs sink source 和 sink 之间的传递通道——channel，可用 file channel 也可以用内存 channel 配置文件编写： a1.sources.r1.type = spooldir
flume入门案例
weixin_44604159的博客
11-11 1828
flume入门案例
大数据之flume开发实例
a18379692263的博客
04-02 2016
一、复制和多路复用 案例需求：使用 Flume-1 监控文件变动，Flume-1 将变动内容传递给 Flume-2，Flume-2 负责存储 到 HDFS。同时 Flume-1 将变动内容传递给 Flume-3，Flume-3 负责输出到 Local FileSystem。 流程图如下： 具体实现： ...
Flume系列二之案例实战
留歌__36的博客
11-21 1493
Flume案例实战写在前面 通过前面一篇文章http://blog.csdn.net/liuge36/article/details/78589505的介绍我们已经知道flume到底是什么？flume可以用来做什么？但是，具体怎么做，这就是我们这篇文章想要介绍的。话不多说，直接来案例学习。实战一：实现官网的第一个简单的小案例-从指定端口采集数据输出到控制台如何开始呢？ 看官网！！！！
使用Flume监听整个目录的实时追加文件，并上传至HDFS
Knight
06-30 891
案例需求：使用Flume监听整个目录的实时追加文件，并上传至HDFS 需求分析: 实现步骤： （1）创建配置文件flume-taildir-hdfs.conf 创建一个文件 vim flume-taildir-hdfs.conf 添加如下内容 a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sources.r1.type = TAILDIR a1.sources.r1.positionF
"Flume配置案例：日志收集系统Flume的使用和配置
在本文中，我们将讨论一个名为Flume的日志收集系统的配置案例，以展示如何使用其功能来收集和传输日志数据。 本案例中使用的配置是单节点配置，也称为"start case"。这种配置适用于小型应用或测试环境，其中只使用...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

MelodyYN

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值