Flume（二）

已于 2022-01-22 20:21:40 修改
阅读量388 收藏
点赞数
分类专栏： flume 文章标签： hdfs hadoop 大数据 flume
于 2021-12-06 10:40:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chaohui2638457321/article/details/121741920
版权

Flume

flume常见架构

1、单数据源单接口到HDFS集群

在这里插入图片描述
在这里插入图片描述

# taildir读取同目录中的多个日志文件 将数据发送到hdfs

# 声明组件名称
taildir2hdfs.sources = r1
taildir2hdfs.sinks = k1
taildir2hdfs.channels = c1

# Describe/configure the source
taildir2hdfs.sources.r1.type = TAILDIR
taildir2hdfs.sources.r1.filegroups = g1 g2 g3
taildir2hdfs.sources.r1.filegroups.g1 = /root/log.txt
taildir2hdfs.sources.r1.filegroups.g2 = /root/log/.*.txt
taildir2hdfs.sources.r1.filegroups.g3 = /opt/2.txt


# Describe the sink
taildir2hdfs.sinks.k1.type = hdfs
taildir2hdfs.sinks.k1.hdfs.path = hdfs://zhaohui01:8020/flume/%y-%m-%d/%H:%M
# 将hdfs输出文件类型改为数据流
taildir2hdfs.sinks.k1.hdfs.fileType = DataStream
# 输出格式化改为文本格式
taildir2hdfs.sinks.k1.hdfs.writeFormat = Text
#设置使用本地时间戳
taildir2hdfs.sinks.k1.hdfs.useLocalTimeStamp = true
# 设置文件的滚动条件
# 设置滚动周期  单位s
taildir2hdfs.sinks.k1.hdfs.rollInterval = 300
# 设置文件达到指定大小
taildir2hdfs.sinks.k1.hdfs.rollSize = 130000000
# 设置文件中写入多少条记录
taildir2hdfs.sinks.k1.hdfs.rollCount = 0


# Use a channel which buffers events in memory
taildir2hdfs.channels.c1.type = memory
# 设置 memory channel可以保存的最大event数
# 设置依据， 需要估算channel可能缓存的数据量
#  与agent可用Jvm内存
#  可以在flume-ng脚本中配置agent的JVM参数增大内存
# 20000~200000
taildir2hdfs.channels.c1.capacity = 30000
taildir2hdfs.channels.c1.transactionCapacity = 3000

# Bind the source and sink to the channel
taildir2hdfs.sources.r1.channels = c1
taildir2hdfs.sinks.k1.channel = c1

2、多数据源汇总

在这里插入图片描述

zhaohui01最为服务端,向hdfs集群，配置文件

#avro读取同目录中的多个日志文件 将数据发送到hdfs

# 声明组件名称
avro2hdfs.sources = r1
avro2hdfs.sinks = k1
avro2hdfs.channels = c1

# Describe/configure the source
avro2hdfs.sources.r1.type = avro
avro2hdfs.sources.r1.bind = zhaohui01
avro2hdfs.sources.r1.port = 12345


# Describe the sink
avro2hdfs.sinks.k1.type = hdfs
avro2hdfs.sinks.k1.hdfs.path = hdfs://zhaohui01:8020/flume/%y-%m-%d/%H:%M
# 将hdfs输出文件类型改为数据流
avro2hdfs.sinks.k1.hdfs.fileType = DataStream
# 输出格式化改为文本格式
avro2hdfs.sinks.k1.hdfs.writeFormat = Text
avro2hdfs.sinks.k1.hdfs.useLocalTimeStamp = true
# 设置文件的滚动条件
# 设置滚动周期  单位s
avro2hdfs.sinks.k1.hdfs.rollInterval = 300
# 设置文件达到指定大小
avro2hdfs.sinks.k1.hdfs.rollSize = 130000000
# 设置文件中写入多少条记录
avro2hdfs.sinks.k1.hdfs.rollCount = 0

# Use a channel which buffers events in memory
avro2hdfs.channels.c1.type = memory
# 设置 memory channel可以保存的最大event数
# 设置依据， 需要估算channel可能缓存的数据量
#  与agent可用Jvm内存
#  可以在flume-ng脚本中配置agent的JVM参数增大内存
# 20000~200000
avro2hdfs.channels.c1.capacity = 30000
avro2hdfs.channels.c1.transactionCapacity = 3000

# Bind the source and sink to the channel
avro2hdfs.sources.r1.channels = c1
avro2hdfs.sinks.k1.channel = c1

zhaohui02 zhaohui03作为客户端连接到zhaohui01

# taildir读取同目录中的多个日志文件 将数据发送到avro

# 声明组件名称
taildir2avro.sources = r1
taildir2avro.sinks = k1
taildir2avro.channels = c1

# Describe/configure the source
taildir2avro.sources.r1.type = TAILDIR
taildir2avro.sources.r1.filegroups = g1 g2 g3
taildir2avro.sources.r1.filegroups.g1 = /root/log.txt
taildir2avro.sources.r1.filegroups.g2 = /root/log/.*.txt
taildir2avro.sources.r1.filegroups.g3 = /opt/2.txt


# Describe the sink
taildir2avro.sinks.k1.type = avro
taildir2avro.sinks.k1.hostname = zhaohui01
taildir2avro.sinks.k1.port = 12345


# Use a channel which buffers events in memory
taildir2avro.channels.c1.type = memory
# 设置 memory channel可以保存的最大event数
# 设置依据， 需要估算channel可能缓存的数据量
#  与agent可用Jvm内存
#  可以在flume-ng脚本中配置agent的JVM参数增大内存
# 20000~200000
taildir2avro.channels.c1.capacity = 30000
taildir2avro.channels.c1.transactionCapacity = 3000

# Bind the source and sink to the channel
taildir2avro.sources.r1.channels = c1
taildir2avro.sinks.k1.channel = c1

启动命令

服务端首先启动

 flume-ng agent -n avro2hdfs -c /opt/flume-1.9/conf/ -f /opt/flume-1.9/agents/avro2hdfs.conf -Dflume.root.logger=INFO,console

客户端启动命令

 flume-ng agent -n taildir2avro -c /opt/flume-1.9/conf/ -f /opt/flume-1.9/agents/taildir2avro.conf -Dflume.root.logger=INFO,console

3、单数据源多出口案例(复制/选择)

在这里插入图片描述

复制

需求分析： zhaohui01 监控文件信息，将文件变化一份发送到 zhaohui02 上传到HDFS，将一份文件发送到 zhaohui03 保存到本地

1、在zhaohui02中配置 /opt/flume-1.9/agents/avro2hdfs.conf 文件

#avro读取同目录中的多个日志文件 将数据发送到hdfs

# 声明组件名称
avro2hdfs.sources = r1
avro2hdfs.sinks = k1
avro2hdfs.channels = c1

# Describe/configure the source
avro2hdfs.sources.r1.type = avro
avro2hdfs.sources.r1.bind = zhaohui01
avro2hdfs.sources.r1.port = 121212

# Describe the sink
avro2hdfs.sinks.k1.type = hdfs
avro2hdfs.sinks.k1.hdfs.path = hdfs://zhaohui01:8020/flume/%y-%m-%d/%H:%M
# 将hdfs输出文件类型改为数据流
avro2hdfs.sinks.k1.hdfs.fileType = DataStream
# 输出格式化改为文本格式
avro2hdfs.sinks.k1.hdfs.writeFormat = Text
avro2hdfs.sinks.k1.hdfs.useLocalTimeStamp = true
# 设置文件的滚动条件
# 设置滚动周期  单位s
avro2hdfs.sinks.k1.hdfs.rollInterval = 300
# 设置文件达到指定大小
avro2hdfs.sinks.k1.hdfs.rollSize = 130000000
# 设置文件中写入多少条记录
avro2hdfs.sinks.k1.hdfs.rollCount = 0

# Use a channel which buffers events in memory
avro2hdfs.channels.c1.type = memory
# 设置 memory channel可以保存的最大event数
# 设置依据， 需要估算channel可能缓存的数据量
#  与agent可用Jvm内存
#  可以在flume-ng脚本中配置agent的JVM参数增大内存
# 20000~200000
avro2hdfs.channels.c1.capacity = 30000
avro2hdfs.channels.c1.transactionCapacity = 3000

# Bind the source and sink to the channel
avro2hdfs.sources.r1.channels = c1
avro2hdfs.sinks.k1.channel = c1

2、在zhaohui03中配置 /opt/flume-1.9/agents/avro2hdfs.conf 文件，保存到本地

#avro读取同目录中的多个日志文件 将数据发送到localhost

# 声明组件名称
avro2localhost.sources = r1
avro2localhost.sinks = k1
avro2localhost.channels = c2

# Describe/configure the source
avro2localhost.sources.r1.type = avro
avro2localhost.sources.r1.bind = zhaohui01
avro2localhost.sources.r1.port = 121213


# Describe the sink
avro2localhost.sinks.k1.type = file_roll
avro2localhost.sinks.k1.sink.directory = /opt/flume-1.9/agents/log


# Use a channel which buffers events in memory
avro2localhost.channels.c2.type = memory
# 设置 memory channel可以保存的最大event数
# 设置依据， 需要估算channel可能缓存的数据量
#  与agent可用Jvm内存
#  可以在flume-ng脚本中配置agent的JVM参数增大内存
# 20000~200000
avro2localhost.channels.c2.capacity = 30000
avro2localhost.channels.c2.transactionCapacity = 3000

# Bind the source and sink to the channel
avro2localhost.sources.r1.channels = c2
avro2localhost.sinks.k1.channel = c2

3、zhaohui01作为客户端向服务端发送

在zhaohui01中配置

# taildir读取同目录中的多个日志文件 将数据发送到avro

# 声明组件名称
taildir2avro.sources = r1
taildir2avro.channels = c1 c2
taildir2avro.sinks = k1 k2

# Describe/configure the source
taildir2avro.sources.r1.type = TAILDIR
taildir2avro.sources.r1.filegroups = f1
taildir2avro.sources.r1.filegroups.f1 = /root/*.txt

# Describe the sink
taildir2avro.sinks.k1.type = avro
taildir2avro.sinks.k1.hostname = zhaohui01
taildir2avro.sinks.k1.port = 121212

taildir2avro.sinks.k1.type = avro
taildir2avro.sinks.k1.hostname = zhaohui01
taildir2avro.sinks.k1.port = 121213

# Use a channel which buffers events in memory
taildir2avro.channels.c1.type = memory
# 设置 memory channel可以保存的最大event数
# 设置依据， 需要估算channel可能缓存的数据量
#  与agent可用Jvm内存
#  可以在flume-ng脚本中配置agent的JVM参数增大内存
# 20000~200000
taildir2avro.channels.c1.capacity = 30000
taildir2avro.channels.c1.transactionCapacity = 3000


# Bind the source and sink to the channel
taildir2avro.sources.r1.channels = c1 c2
taildir2avro.sinks.k1.channel = c1
taildir2avro.sinks.k2.channel = c2

服务端启动

客户端启动

4、单数据源多出口（选择）

在这里插入图片描述

1）案例需求：使用 zhaohui01 监控文件变动，zhaohui01 将变动内容传递给 zhaohui02，zhaohui02

负责存储到 HDFS。同时 zhaohui01 将变动内容传递给 zhaohui03，zhaohui03 负责输出到 Local

1、编写过滤器
import org.apache.flume.Context;
import org.apache.flume.Event;
import org.apache.flume.interceptor.Interceptor;

import java.util.ArrayList;
import java.util.List;
import java.util.Map;

/**
 * flume自定义拦截器
 * 添加不同的头信息
 * 进入不同的channel
 */
public class TypeInterceptor implements Interceptor {

    //声明一个存放事件的集合
    private List<Event> addHeaderEvents;


    public void initialize() {

        //初始化
        addHeaderEvents = new ArrayList<Event>();
    }

    //单个事件拦截
    public Event intercept(Event event) {

        //1、获取事件中的头信息
        Map<String, String> headers = event.getHeaders();

        //2、获取事件中的body信息
        String body = new String(event.getBody());

        //3、根据body中是否有hello来决定添加怎样的头信息
        if (body.contains("hello")){

            //4、添加头信息
            headers.put("type","zch");
        }else {
            //5、添加头信息
            headers.put("type","others");
        }
        return event;
    }

    //批量事件拦截
    public List<Event> intercept(List<Event> events) {

        //1、清空集合
        addHeaderEvents.clear();
        //2、遍历events
        for (Event event : events) {
            //3、给每一个事件添加头信息
            addHeaderEvents.add(intercept(event));
        }
        //返回结果
        return addHeaderEvents;
    }

    public void close() {


    }

    public static  class Builder implements Interceptor.Builder{

        public Interceptor build() {
            return new TypeInterceptor();
        }

        public void configure(Context context) {
            
        }
    }
}
2、编写 zhaohui01 的 /opt/flume-1.9/agents/taildir2dvro_interceptor.conf
# taildir读取同目录中的多个日志文件 将数据发送到avro

# 声明组件名称
taildir2avro.sources = r1
taildir2avro.channels = c1 c2
taildir2avro.sinks = k1 k2

# Describe/configure the source
taildir2avro.sources.r1.type = TAILDIR
taildir2avro.sources.r1.filegroups = f1
taildir2avro.sources.r1.filegroups.f1 = /root/*.txt

# Interceptor
# com.zch.interceptor.TypeInterceptor 为java类名的全路径 
# $Builder 为拦截器内部类的名字
taildir2avro.sources.r1.interceptors = i1
taildir2avro.sources.r1.interceptors.i1.type = com.zch.interceptor.TypeInterceptor$Builder

# Channel Selector
# taildir2avro.sources.r1.selector.header 为java拦截器的header的名字
taildir2avro.sources.r1.selector.type = multiplexing
taildir2avro.sources.r1.selector.header = type
taildir2avro.sources.r1.selector.mapping.zch = c1
taildir2avro.sources.r1.selector.mapping.others = c2

# Describe the sink
taildir2avro.sinks.k1.type = avro
taildir2avro.sinks.k1.hostname = zhaohui01
taildir2avro.sinks.k1.port = 121212

taildir2avro.sinks.k2.type = avro
taildir2avro.sinks.k2.hostname = zhaohui01
taildir2avro.sinks.k2.port = 121213

# Use a channel which buffers events in memory
taildir2avro.channels.c1.type = memory
taildir2avro.channels.c1.capacity = 30000
taildir2avro.channels.c1.transactionCapacity = 3000

taildir2avro.channels.c2.type = memory
taildir2avro.channels.c2.capacity = 30000
taildir2avro.channels.c2.transactionCapacity = 3000

# Bind the source and sink to the channel
taildir2avro.sources.r1.channels = c1 c2
taildir2avro.sinks.k1.channel = c1
taildir2avro.sinks.k2.channel = c2
3、编写zhaohui02 zhaohui03 的配置文件

/opt/flume-1.9/agents/avro2hdfs_interceptor.conf

zhaohui02

#avro读取同目录中的多个日志文件 将数据发送到hdfs

# 声明组件名称
avro2hdfs.sources = r1
avro2hdfs.sinks = k1
avro2hdfs.channels = c1

# Describe/configure the source
avro2hdfs.sources.r1.type = avro
avro2hdfs.sources.r1.bind = zhaohui01
avro2hdfs.sources.r1.port = 121212

# Describe the sink
avro2hdfs.sinks.k1.type = hdfs
avro2hdfs.sinks.k1.hdfs.path = hdfs://zhaohui01:8020/flume/%y-%m-%d/%H:%M
# 将hdfs输出文件类型改为数据流
avro2hdfs.sinks.k1.hdfs.fileType = DataStream
# 输出格式化改为文本格式
avro2hdfs.sinks.k1.hdfs.writeFormat = Text
avro2hdfs.sinks.k1.hdfs.useLocalTimeStamp = true
# 设置文件的滚动条件
# 设置滚动周期  单位s
avro2hdfs.sinks.k1.hdfs.rollInterval = 300
# 设置文件达到指定大小
avro2hdfs.sinks.k1.hdfs.rollSize = 130000000
# 设置文件中写入多少条记录
avro2hdfs.sinks.k1.hdfs.rollCount = 0

# Use a channel which buffers events in memory
avro2hdfs.channels.c1.type = memory
# 设置 memory channel可以保存的最大event数
# 设置依据， 需要估算channel可能缓存的数据量
#  与agent可用Jvm内存
#  可以在flume-ng脚本中配置agent的JVM参数增大内存
# 20000~200000
avro2hdfs.channels.c1.capacity = 30000
avro2hdfs.channels.c1.transactionCapacity = 3000

# Bind the source and sink to the channel
avro2hdfs.sources.r1.channels = c1
avro2hdfs.sinks.k1.channel = c1

/opt/flume-1.9/agents/avro2localhost_interceptor.conf

zhaohui03

#avro读取同目录中的多个日志文件 将数据发送到localhost

# 声明组件名称
avro2localhost.sources = r1
avro2localhost.sinks = k1
avro2localhost.channels = c2

# Describe/configure the source
avro2localhost.sources.r1.type = avro
avro2localhost.sources.r1.bind = zhaohui01
avro2localhost.sources.r1.port = 121213

# Describe the sink
avro2localhost.sinks.k1.type = file_roll
avro2localhost.sinks.k1.sink.directory = /opt/flume-1.9/agents/log


# Use a channel which buffers events in memory
avro2localhost.channels.c2.type = memory
# 设置 memory channel可以保存的最大event数
# 设置依据， 需要估算channel可能缓存的数据量
#  与agent可用Jvm内存
#  可以在flume-ng脚本中配置agent的JVM参数增大内存
# 20000~200000
avro2localhost.channels.c2.capacity = 30000
avro2localhost.channels.c2.transactionCapacity = 3000

# Bind the source and sink to the channel
avro2localhost.sources.r1.channels = c2
avro2localhost.sinks.k1.channel = c2
3、启动服务

先启动服务端 zhaohui02 zhaohui03

在启动客户端 zhaohui01

4、后台运行程序命令

后台启动命令，静默不输出内容

nohup flume-ng agent --name a1 --conf /opt/flume-1.9/conf/ --conf-file /opt/flume-1.9/agents/agent_test_1.conf -Dflume.root.logger=INFO,console &
爱喝水的绿萝
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop之flume 框架日志采集原理及使用
yidianyidei的博客
08-30 1123
文章目录FLUME 框架一 概述1.1 Flume定义1.2Flume的优点1.3Flume组成架构1）Agent2）Source3）Channel4）Sink5）Event1.4Flume拓扑结构1.5 Flume &Agent内部原理二 快速入门2.1 Flume安装地址1） Flume官网地址2）文档查看地址3）下载地址2.2 安装部署三 企业开发案例3.1监控端口数据官方案例1）案例需求：2）需求分析：3）实现步骤：1．安装netcat工具2．判断44444端口是否被占用基本语法：nets
1.flume相关配置以及配置含义
sandy
04-30 729
flume的整体基础框架如下所示： #定义三大组件的名称 1.其中source是flume日志采集的起点，监控文件系统目录，其中比较常见的是Spooling Directory Source,来进行一个数据因为意外情况数据采集中断，恢复过后，从异常中断位置继续采集。 2.flume的utf配置是默认按照utf-8来进行配置的。 agent1.sources = source1 agent1...
Flume学习之监控端口数据（Exec、Spooldir、Taildir）心得
ljs_0的博客
04-12 1674
Flume监控端口数据（Exec、Spooldir、Taildir）案例
Flume复习之旅之Flume 配置案例
KamRoseLee的博客
07-31 395
Flume 配置案例 案例 1：start case （single-node configuration） #文件名：case1_example.conf #配置内容： # case1_example.conf: A single-node Flume configuration # Name the components on this agent a1.sources = r1 ...
Flume篇---Flume安装配置与相关使用
weixin_33762321的博客
01-17 129
一.前述 Copy过来一段介绍Apache Flume 是一个从可以收集例如日志，事件等数据资源，并将这些数量庞大的数据从各项数据资源中集中起来存储的工具/服务，或者数集中机制。flume具有高可用，分布式，配置工具，其设计的原理也是基于将数据流，如日志数据从各种网站服务器上汇集起来存储到HDFS，HBase等集中存储器中。官网：http://flume.apache.org/FlumeUser...
Flume使用详解（二）
01-07
flume可以支持多级flume的agent，即flume可以前后相继形成多级的复杂流动，例如sink可以将数据写到下一个agent的source中，这样的话就可以连成串了，可以整体处理了。 置多个agent的数据流（多级流动） 数据流合并...
flume-java
11-13
#### 二、Flume Java 的关键特性 ##### 1. 高级抽象层 Flume Java 通过并行集合及其操作提供了高级抽象层，使得开发者能够以更加简洁的方式表达复杂的并行数据处理逻辑。这种方式不仅简化了编程模型，还提高了代码...
【Flume】（二）Flume 定义和基础架构
01-20
**二、Flume基础架构** Flume的基础组件是Agent，每个Agent是一个运行在Java虚拟机（JVM）上的独立进程。Agent是Flume工作的核心，它负责从源头接收数据并将其传输到目的地。 1. **Source**：Source是数据流入Flume...
flume安装包
02-13
在提供的压缩包子文件名称`apache-flume-1.9.0-bin`中，我们可以推断这是Flume的1.9.0版本的二进制发行版。解压后，该目录通常包含以下部分： 1. `bin/`: 包含可执行脚本，如启动和停止Flume的命令。 2. `conf/`: ...
flume安装文档
12-07
**二、Flume 示例：Avro 类型数据传输** Flume 支持多种数据源、通道和接收器类型，这里我们以 Avro 数据源为例： 1. **创建配置文件**：将 `flume-conf.properties.template` 文件重命名为 `flume-avro....
flume使用Taildir Source采集文件夹数据到hdfs
hyj
04-21 2255
一、说明 1、此方式适合生产环境； 2、Taildir Source 是Apache flume1.7新推出的，但是CDH Flume1.6做了集成； 3、Taildir Source是高可靠（reliable）的source，他会实时的将文件偏移量写到json文件中并保存到磁盘。下次重启Flume时会读取Json文件获取文件O偏移量，然后从之前的位置读取数据，保证数据零丢失； 4、tai...
flume流程之taildir-memory-hdfs
鸭梨的博客
12-23 269
如下 #agent1 name agent1.channels = c1 agent1.sources = r1 agent1.sinks = k1 agent1.sources.r1.channels = c1 #监控文件夹 agent1.sources.r1.type = TAILDIR #元数据保存位置 agent1.sources.r1.positionFile = /home/data/flume_log/taildir_position.json agent1.sources.r1.fileg
使用Flume监听整个目录的实时追加文件，并上传至HDFS
Knight
06-30 901
案例需求：使用Flume监听整个目录的实时追加文件，并上传至HDFS 需求分析: 实现步骤： （1）创建配置文件flume-taildir-hdfs.conf 创建一个文件 vim flume-taildir-hdfs.conf 添加如下内容 a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sources.r1.type = TAILDIR a1.sources.r1.positionF
flume监听文件追加内容并上传到HDFS
qq_36470898的博客
10-08 895
flume监听文件追加内容并上传到HDFS一、监听单个日志文件1.1 需求1.2 准备工作1.3 编写配置文件1.4 运行flume 一、监听单个日志文件 1.1 需求 监控test.log日志文件，将日志文件追加的内容上传到hdfs 1.2 准备工作 Flume要想将数据输出到HDFS，必须持有Hadoop相关jar包，将对应jar复制到 /flume/lib 文件夹下 这里使用hadoop版本：hadoop-2.7.6 ##需要的Jar hadoop-common-2.7.6.jar commons-c
Flume-taildirSource模式应用
L, there!
09-03 744
应该场景为监控上传的日志文件目录，日志文件分为sdk和api两种Json格式文件，Flume采用断点续传，对两个类型文件目录进行监控，对类型进行区分，并过滤Json格式不合法的日志，最后发送到Kafka对应类型的Topic。 平台：CDH6.2，Flume1.9 配置 CDH -> Flume -> 实例 -> 选择节点 -> 配置 配置 a1.s...
Flume NG 学习笔记（五）Sinks和Channel配置
热门推荐
顾晓艳的专栏
10-24 1万+
一、HDFS Sink Flume Sink是将事件写入到Hadoop分布式文件系统（HDFS）中。主要是Flume在Hadoop环境中的应用，即Flume采集数据输出到HDFS，适用大数据日志场景。 目前，它支持HDFS的文本和序列文件格式，以及支持两个文件类型的压缩。支持将所用的时间、数据大小、事件的数量为操作参数，对HDFS文件进行关闭（关闭当前文件，并创建一个新的）。它还可以对事源的机
flume采集数据到hdfs上为什么会生成很多的小文件呢？？？？？
weidajiangjiang的博客
10-12 1145
原文链接：https://blog.csdn.net/qq_32502511/article/details/85048594 问题： flume监控的目录写入大文件的时候不能同步记录在hdfs中 flume监控的目录写入大文件的时候，同步记录到hdfs中后变成多个小文件 flume从kafka中读取数据下沉到hdfs中会生成很多小文件 解决办法：更改flume的配置信息（主要更改滚动方式），滚动...
flume 的负载均衡（load-balance）和容错（机制）
zengxianglei的博客--手指星辰 奈何天！
04-13 1998
flume 的负载均衡（load-balance）和容错（机制） 学习前 先了解一下 企业中可能遇见的一个问题：spooldir 监控的目录文件 有重复名的话会报错且罢工！ 在企业中如何控制文件的产生 文件名不同 我们20150109-01.log【我们文件名产生前用时间控制文件名 年月日小时 每一个小时的数据存储在一个文件中。这样就保证了 数据源文件名的不重复。 如何模拟一个不断变化的文件。 ...
数据采集-flume的使用
喜讯XiCent 的博客
03-02 1318
前言 在一个完整的大数据处理系统中， 除了hdfs+mapreduce(或spark)+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统， 而这些辅助工具在hadoop生态体系中都有便捷的开源框架，如图所示: 日志采集框架Flume Flume介绍 概述 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系...
mac安装Flume
最新发布
04-19
3. 解压下载的Flume二进制文件。你可以将解压后的文件夹放在任意位置，比如 `/usr/local/flume`。 4. 配置Flume。在Flume的安装目录中，找到`conf`文件夹，并编辑其中的配置文件`flume.conf`。根据你的需求，配置...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值