Flume 从 0 到 1 学习 —— 第二章 Flume 快速入门

最新推荐文章于 2023-05-28 20:07:18 发布
最新推荐文章于 2023-05-28 20:07:18 发布
阅读量901 收藏 1
点赞数
分类专栏： 大数据 flume 文章标签： flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dwjf321/article/details/112480349
版权

文章目录

1. Flume 安装地址

  1. Flume官网地址

    http://flume.apache.org/

  2. 文档查看地址

    http://flume.apache.org/FlumeUserGuide.html

  3. 下载地址

    http://archive.apache.org/dist/flume/

2. Flume 安装部署

  1. 将 apache-flume-1.9.0-bin.tar.gz上传到 linux 的 /opt/software目录下

  2. 解压 apache-flume-1.9.0-bin.tar.gz到 /opt/module/目录下

    [dwjf321@hadoop102 software]$ tar -zxf apache-flume-1.9.0-bin.tar.gz -C /opt/module/

  3. 修改 apache-flume-1.9.0-bin的名称为 flume

    [dwjf321@hadoop102 module]$ mv apache-flume-1.9.0-bin flume

  4. 将 flume/conf下的 flume-env.sh.template文件修改为 flume-env.sh，并配置 flume-env.sh文件

[dwjf321@hadoop102 conf]$ mv flume-env.sh.template flume-env.sh
[dwjf321@hadoop102 conf]$ vim flume-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144

3. Flume 配置

3.1 配置 TailDir Source 监控文件

# 定义组件
# 定义source
a1.sources=r1

# configure source  配置 source
# taildir 方式读取文件
a1.sources.r1.type = TAILDIR
# 定义读取位置的存储位置
a1.sources.r1.positionFile = /opt/module/flume/test/log_position.json
a1.sources.r1.filegroups = f1
a1.sources.r1.filegroups.f1 = /tmp/logs/app.+
a1.sources.r1.fileHeader = true
a1.sources.r1.channels = c1 c2


a1.sources.r1.selector.type = multiplexing
a1.sources.r1.selector.header = topic
a1.sources.r1.selector.mapping.topic_start = c1
a1.sources.r1.selector.mapping.topic_event = c2

Taildir Source 相比Exec Source、Spooling Directory Source的优势：

  1. TailDir Source：断点续传、多目录。Flume1.6以前需要自己自定义Source记录每次读取文件位置，实现断点续传。

  2. Exec Source： 可以实时搜集数据，但是在Flume不运行或者Shell命令出错的情况下，数据将会丢失。

  3. Spooling Directory Source： 用于监控目录，不支持断点续传。

3.2 配置 Kafka Channel

# 定义channel
a1.channels=c1 c2

# configure channel 定义channel
a1.channels.c1.type = org.apache.flume.channel.kafka.KafkaChannel
a1.channels.c1.kafka.bootstrap.servers = hadoop102:9092,hadoop103:9092,hadoop104:9092
a1.channels.c1.kafka.topic = topic_start
a1.channels.c1.parseAsFlumeEvent = false
a1.channels.c1.kafka.consumer.group.id = flume-consumer

a1.channels.c2.type = org.apache.flume.channel.kafka.KafkaChannel
a1.channels.c2.kafka.bootstrap.servers = hadoop102:9092,hadoop103:9092,hadoop104:9092
a1.channels.c2.kafka.topic = topic_event
a1.channels.c2.parseAsFlumeEvent = false
a1.channels.c2.kafka.consumer.group.id = flume-consumer

采用Kafka Channel，省去了Sink，提高了效率。

3.3 配置 Kafka Source

## 组件
a1.sources=r1 r2
a1.channels=c1 c2

## source1
a1.sources.r1.type = org.apache.flume.source.kafka.KafkaSource
a1.sources.r1.batchSize = 5000
a1.sources.r1.batchDurationMillis = 2000
a1.sources.r1.kafka.bootstrap.servers = hadoop102:9092,hadoop103:9092,hadoop104:9092
a1.sources.r1.kafka.topics=topic_start

## source2
a1.sources.r2.type = org.apache.flume.source.kafka.KafkaSource
a1.sources.r2.batchSize = 5000
a1.sources.r2.batchDurationMillis = 2000
a1.sources.r2.kafka.bootstrap.servers = hadoop102:9092,hadoop103:9092,hadoop104:9092
a1.sources.r2.kafka.topics=topic_event


## channel1
a1.channels.c1.type = file
a1.channels.c1.checkpointDir = /opt/module/flume/checkpoint/behavior1
a1.channels.c1.dataDirs = /opt/module/flume/data/behavior1/
a1.channels.c1.maxFileSize = 2146435071
a1.channels.c1.capacity = 1000000
a1.channels.c1.keep-alive = 6

## channel2
a1.channels.c2.type = file
a1.channels.c2.checkpointDir = /opt/module/flume/checkpoint/behavior2
a1.channels.c2.dataDirs = /opt/module/flume/data/behavior2/
a1.channels.c2.maxFileSize = 2146435071
a1.channels.c2.capacity = 1000000
a1.channels.c2.keep-alive = 6

3.4 配置 HDFS Sink

a1.sinks=k1 k2
## sink1
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = /origin_data/gmall/log/topic_start/%Y-%m-%d
a1.sinks.k1.hdfs.filePrefix = logstart-
a1.sinks.k1.hdfs.round = true
a1.sinks.k1.hdfs.roundValue = 10
a1.sinks.k1.hdfs.roundUnit = second

##sink2
a1.sinks.k2.type = hdfs
a1.sinks.k2.hdfs.path = /origin_data/gmall/log/topic_event/%Y-%m-%d
a1.sinks.k2.hdfs.filePrefix = logevent-
a1.sinks.k2.hdfs.round = true
a1.sinks.k2.hdfs.roundValue = 10
a1.sinks.k2.hdfs.roundUnit = second

## 不要产生大量小文件
a1.sinks.k1.hdfs.rollInterval = 10
a1.sinks.k1.hdfs.rollSize = 134217728
a1.sinks.k1.hdfs.rollCount = 0

# 每10s 滚动一个文件
a1.sinks.k2.hdfs.rollInterval = 10
# 每 128M 滚动一个文件
a1.sinks.k2.hdfs.rollSize = 134217728
# 多少个事件之后滚动一个文件 0忽略
a1.sinks.k2.hdfs.rollCount = 0

## 控制输出文件是原生文件。
a1.sinks.k1.hdfs.fileType = CompressedStream
a1.sinks.k2.hdfs.fileType = CompressedStream

a1.sinks.k1.hdfs.codeC = lzop
a1.sinks.k2.hdfs.codeC = lzop

## 拼装
a1.sources.r1.channels = c1
a1.sinks.k1.channel= c1

a1.sources.r2.channels = c2
a1.sinks.k2.channel= c2

3.5 定义自定义拦截器

创建 maven 工程，添加 pom.xml依赖

<dependency>
    <groupId>org.apache.flume</groupId>
    <artifactId>flume-ng-core</artifactId>
    <version>1.9.0</version>
</dependency>
3.5.1 Log 解析器
package com.big.data.flume.interceptor;

import org.apache.commons.lang.math.NumberUtils;

public class LogUtils {

    public static boolean validateEvent(String log) {
        // 服务器时间 | json
        // 1549696569054 | {"cm":{"ln":"-89.2","sv":"V2.0.4","os":"8.2.0","g":"M67B4QYU@gmail.com","nw":"4G","l":"en","vc":"18","hw":"1080*1920","ar":"MX","uid":"u8678","t":"1549679122062","la":"-27.4","md":"sumsung-12","vn":"1.1.3","ba":"Sumsung","sr":"Y"},"ap":"weather","et":[]}

        // 1 切割
        String[] logContents = log.split("\\|");

        // 2 校验
        if(logContents.length != 2){
            return false;
        }

        //3 校验服务器时间
        if (logContents[0].length()!=13 || !NumberUtils.isDigits(logContents[0])){
            return false;
        }

        // 4 校验json
        if (!logContents[1].trim().startsWith("{") || !logContents[1].trim().endsWith("}")){
            return false;
        }

        return true;
    }

    public static boolean validateStart(String log) {

        if (log == null){
            return false;
        }

        // 校验json
        if (!log.trim().startsWith("{") || !log.trim().endsWith("}")){
            return false;
        }

        return true;
    }
}
3.5.2 ETL 拦截器

对数据进行简单的校验，拦截不合格的数据。

package com.big.data.flume.interceptor;

import org.apache.flume.Context;
import org.apache.flume.Event;
import org.apache.flume.interceptor.Interceptor;

import java.nio.charset.Charset;
import java.util.ArrayList;
import java.util.List;

public class LogETLInterceptor implements Interceptor {
    @Override
    public void initialize() {

    }

    @Override
    public Event intercept(Event event) {

        // 1. 获取数据
        byte[] body = event.getBody();
        String log = new String(body, Charset.forName("UTF-8"));

        // 2. 校验 启动日志(json)  事件日志(服务器事件|json)
        if (log.contains("start")) {
            if (LogUtils.validateStart(log)) {
                return event;
            }
        } else {
            if (LogUtils.validateEvent(log)) {
                return event;
            }
        }
        // 3. 返回校验结果
        return null;
    }

    @Override
    public List<Event> intercept(List<Event> list) {

        ArrayList<Event> events = new ArrayList<>();
        for (Event event : list) {
            Event intercept = intercept(event);
            if (intercept == null) {
                continue;
            }
            events.add(intercept);
        }
        return events;
    }

    @Override
    public void close() {

    }


    public static class Builder implements Interceptor.Builder {

        @Override
        public Interceptor build() {
            return new LogETLInterceptor();
        }

        @Override
        public void configure(Context context) {

        }
    }
}
3.5.3 日志类型拦截器

判断日志类型，发送到不同的 kafka channel

package com.big.data.flume.interceptor;

import org.apache.flume.Context;
import org.apache.flume.Event;
import org.apache.flume.interceptor.Interceptor;

import java.nio.charset.Charset;
import java.util.ArrayList;
import java.util.List;
import java.util.Map;

public class LogTypeInterceptor implements Interceptor {
    @Override
    public void initialize() {

    }

    @Override
    public Event intercept(Event event) {
        // 1. 获取body 数据
        byte[] body = event.getBody();
        String log = new String(body, Charset.forName("UTF-8"));

        // 2. 获取 header
        Map<String, String> headers = event.getHeaders();

        // 3. 判断数据类型并向 header 中赋值
        if (log.contains("start")) {
            headers.put("topic","topic_start");
        } else {
            headers.put("topic","topic_event");
        }
        return event;
    }

    @Override
    public List<Event> intercept(List<Event> list) {
        ArrayList<Event> events = new ArrayList<>();
        for (Event event : list) {
            Event intercept = intercept(event);
            if (intercept == null) {
                continue;
            }
            events.add(intercept);
        }
        return events;
    }

    @Override
    public void close() {

    }

    public static class Builder implements Interceptor.Builder {

        @Override
        public Interceptor build() {
            return new LogTypeInterceptor();
        }

        @Override
        public void configure(Context context) {

        }
    }
}
3.5.4 配置拦截器
#interceptor 定义拦截器
a1.sources.r1.interceptors =  i1 i2
a1.sources.r1.interceptors.i1.type = com.big.data.flume.interceptor.LogETLInterceptor$Builder
a1.sources.r1.interceptors.i2.type = com.big.data.flume.interceptor.LogTypeInterceptor$Builder

3.6 完整的配置示例

3.6.1 TailDir Source 配置示例

编写 file-flume-kafka.conf配置文件

# 定义组件
# 定义source
a1.sources=r1
# 定义channel
a1.channels=c1 c2

# configure source  配置 source
# taildir 方式读取文件
a1.sources.r1.type = TAILDIR
# 定义读取位置的存储位置
a1.sources.r1.positionFile = /opt/module/flume/test/log_position.json
a1.sources.r1.filegroups = f1
a1.sources.r1.filegroups.f1 = /tmp/logs/app.+
a1.sources.r1.fileHeader = true
a1.sources.r1.channels = c1 c2

#interceptor 定义拦截器
a1.sources.r1.interceptors =  i1 i2
a1.sources.r1.interceptors.i1.type = com.big.data.flume.interceptor.LogETLInterceptor$Builder
a1.sources.r1.interceptors.i2.type = com.big.data.flume.interceptor.LogTypeInterceptor$Builder

a1.sources.r1.selector.type = multiplexing
a1.sources.r1.selector.header = topic
a1.sources.r1.selector.mapping.topic_start = c1
a1.sources.r1.selector.mapping.topic_event = c2

# configure channel 定义channel
a1.channels.c1.type = org.apache.flume.channel.kafka.KafkaChannel
a1.channels.c1.kafka.bootstrap.servers = hadoop102:9092,hadoop103:9092,hadoop104:9092
a1.channels.c1.kafka.topic = topic_start
a1.channels.c1.parseAsFlumeEvent = false
a1.channels.c1.kafka.consumer.group.id = flume-consumer

a1.channels.c2.type = org.apache.flume.channel.kafka.KafkaChannel
a1.channels.c2.kafka.bootstrap.servers = hadoop102:9092,hadoop103:9092,hadoop104:9092
a1.channels.c2.kafka.topic = topic_event
a1.channels.c2.parseAsFlumeEvent = false
a1.channels.c2.kafka.consumer.group.id = flume-consumer
3.6.2 Kafka Source 示例

编写 kafka-flume-hdfs.conf配置文件

## 组件
a1.sources=r1 r2
a1.channels=c1 c2
a1.sinks=k1 k2

## source1
a1.sources.r1.type = org.apache.flume.source.kafka.KafkaSource
a1.sources.r1.batchSize = 5000
a1.sources.r1.batchDurationMillis = 2000
a1.sources.r1.kafka.bootstrap.servers = hadoop102:9092,hadoop103:9092,hadoop104:9092
a1.sources.r1.kafka.topics=topic_start

## source2
a1.sources.r2.type = org.apache.flume.source.kafka.KafkaSource
a1.sources.r2.batchSize = 5000
a1.sources.r2.batchDurationMillis = 2000
a1.sources.r2.kafka.bootstrap.servers = hadoop102:9092,hadoop103:9092,hadoop104:9092
a1.sources.r2.kafka.topics=topic_event

## channel1
a1.channels.c1.type = file
a1.channels.c1.checkpointDir = /opt/module/flume/checkpoint/behavior1
a1.channels.c1.dataDirs = /opt/module/flume/data/behavior1/
a1.channels.c1.maxFileSize = 2146435071
a1.channels.c1.capacity = 1000000
a1.channels.c1.keep-alive = 6

## channel2
a1.channels.c2.type = file
a1.channels.c2.checkpointDir = /opt/module/flume/checkpoint/behavior2
a1.channels.c2.dataDirs = /opt/module/flume/data/behavior2/
a1.channels.c2.maxFileSize = 2146435071
a1.channels.c2.capacity = 1000000
a1.channels.c2.keep-alive = 6

## sink1
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = /origin_data/gmall/log/topic_start/%Y-%m-%d
a1.sinks.k1.hdfs.filePrefix = logstart-
a1.sinks.k1.hdfs.round = true
a1.sinks.k1.hdfs.roundValue = 10
a1.sinks.k1.hdfs.roundUnit = second

##sink2
a1.sinks.k2.type = hdfs
a1.sinks.k2.hdfs.path = /origin_data/gmall/log/topic_event/%Y-%m-%d
a1.sinks.k2.hdfs.filePrefix = logevent-
a1.sinks.k2.hdfs.round = true
a1.sinks.k2.hdfs.roundValue = 10
a1.sinks.k2.hdfs.roundUnit = second

## 不要产生大量小文件
a1.sinks.k1.hdfs.rollInterval = 10
a1.sinks.k1.hdfs.rollSize = 134217728
a1.sinks.k1.hdfs.rollCount = 0

# 每10s 滚动一个文件
a1.sinks.k2.hdfs.rollInterval = 10
# 每 128M 滚动一个文件
a1.sinks.k2.hdfs.rollSize = 134217728
# 多少个事件之后滚动一个文件 0忽略
a1.sinks.k2.hdfs.rollCount = 0

## 控制输出文件是原生文件。
a1.sinks.k1.hdfs.fileType = CompressedStream
a1.sinks.k2.hdfs.fileType = CompressedStream

a1.sinks.k1.hdfs.codeC = lzop
a1.sinks.k2.hdfs.codeC = lzop

## 拼装
a1.sources.r1.channels = c1
a1.sinks.k1.channel= c1

a1.sources.r2.channels = c2
a1.sinks.k2.channel= c2

4. 启动 Flume

nohup /opt/module/flume/bin/flume-ng agent --conf-file /opt/module/flume/conf/file-flume-kafka.conf --name a1 -Dflume.root.logger=INFO,LOGFILE >/dev/null 2>&1 &

5. 停止 Flume

ps -ef | grep file-flume-kafka | grep -v grep |awk '{print \$2}' | xargs kill
dwjf321
关注
专栏目录
Flume 从0到高手一站式养成记
Amo Xiang的博客
08-07 835
文章目录一、学前必备知识二、极速入门 Flume三、极速上手 Flume 使用3.1 案例：Flume 的 Hello World!3.2 案例：采集文件内容上传至 HDFS3.3 案例：采集网站日志上传至 HDFS四、Flume 高级组件4.1 Source Interceptors4.2 Channel Selectors4.3 Sink Processors4.4 Failover Sink Processor五、Flume 出神入化篇 一、学前必备知识 2021年 全网最细大数据学习笔记（一）：初
python从入门到实践第四章答案-Python:从入门到实践--第四章--列表操作--练习
weixin_39654465的博客
11-11 1277
#1.想出至少三种你喜欢的水果，将其名称存储在一个列表中，再使用for循环将每种水果的名称都打印出来。#要求：（1）修改这个for循环，使其打印包含名称的句子，而不是仅仅是水果的名称。对于每种水果，都显示一行输出。例如：I like apple#（2）在程序末尾添加一行代码，它不在for循环中，指出你有多喜欢水果，输出应包含针对每种水果的消息，还有一个总结性性句子，如I really love f...
Flume系列2-Flume 入门
只是甲的博客
12-24 1846
文章目录一. Flume 安装部署二. Flume 入门案例2.1 监控端口数据官方案例2.1.1 安装netcat2.1.2 创建 Flume Agent 配置文件2.1.3 先开启 flume 监听端口2.1.4 开启netcat2.1.5 在 Flume 监听页面观察接收数据情况2.2 实时监控单个追加文件2.2.1 创建 flume配置文件2.2.2 运行Flume2.2.3 开启Hive 并操作 Hive 产生日志2.3 实时监控目录下多个新文件2.3.1 创建配置文件2.3.2 启动监控文件夹命
头歌Flume采集方案管理答案
最新发布
maxiangdongkk的博客
05-28 2278
定义三大组件的名称 和关联?#定义Source的相关属性?#定义channel的相关属性?#定义Sink的相关属性#下面三个条件满足其一，就会产生新文件#新文件产生的时间周期，单位是秒， 如果设置为0表示不会产生新文件。#当前文件达到1000字节，就会产生新文件#当前文件的event数量达到10条，就会产生新文件#如果writeFormat指定了Text,那么fileType必须是DataStream?
Flume学习之路 （一）Flume的基础介绍
weixin_33994444的博客
05-07 128
一、背景 Hadoop业务的整体开发流程： 　　从Hadoop的业务开发流程图中可以看出，在大数据的业务处理过程中，对于数据的采集是十分重要的一步，也是不可避免的一步. 许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv，查询等），处理这些日志需要特定的日志系统，一般而言，这些系统需要具有以下特征： （1） 构建应用系统和分析系统的桥梁，并将它们之间的关联解耦； ...
第2章 Flume快速入门
weixin_39868387的博客
01-09 220
上篇：第1章 Flume概述 1、Flume安装地址 （1）Flume官网地址 http://flume.apache.org/ （2）文档查看地址 http://flume.apache.org/FlumeUserGuide.html （3）下载地址 http://archive.apache.org/dist/flume/ 2、安装部署 （1）1）将apache-flume-1.7...
flume入门
afei2530的博客
06-10 145
# example.conf: A single-node Flume configuration # Name the components on this agent #给那三个组件取个名字 a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source #类型, ...
flume的学习一
elaine_2017的博客
01-23 246
flume刚安装的时候，agent的配置文件各种错，开始我的flume配置文件参考官网的这样的： a1.sources=r1 a1.sink=k1 a1.channels=c1 a1.sources.r1.type=netcat a1.sources.r1.bind=hostname a1.sources.r1.port=44444 a1.sinks.k1.type=
菜鸟的Kafka完整入门学习笔记，修订一
5akura's Blog
09-01 3241
文章目录一、Kafka概述1.1、定义1.2、消息队列（MQ）1.2.1、传统应用场景——异步处理1.2.2、使用消息队列的优点1.2.3、消息队列的两种模式1.3、Kafka架构二、快速入门2.1、安装配置与部署2.2、Kafka命令行操作三、Kafka高级—架构深入3.1、Kafka运作流程及消息文件存储3.2、生产者3.2.1、数据分区存放策略3.2.2、数据可靠性保证3.2.3、ACK应答机制3.2.4、面向消费者保持消息一致3.2.5、消息交付语义以及幂等性3.3、消费者3.3.1、两种消费方式3
大数据开发入门指南
大数据开发
08-13 721
“数据是驱动商业向前发展的核心，更是人类社会的未来。” 尽管将马云的这句话断章取义地拿出来说会显得唐突，但这话所表达的意思却显而易见。今天给大家分享的这40个教程，送给对未来抱有远见的乐观主义拼搏者，涵盖了大数据入门的大多基础知识，从Java基础到Scala，Hadoop，Hbase，Mhout，Sqoop以及Spark等等。 入门知识 1. Linux 基础入门（新版） 2. Vim...
ML学习分享系列3_计算广告小窥[下]要啥自行车！
热门推荐
寒小阳
08-22 2万+
提笔写这篇博客，我的内心是惶恐的。原因很简单，作为一个资历尚浅的研究生，是没有资格对计算广告这样一个伟大的行业、领域和学科来评头论足的。之所以这么做，一是总结自己已掌握的知识，二是降低同学们的学习成本。本人能力有限，更缺乏实践经验，文章内容多为书籍和论文的读后感，若有不当或者错误之处，还望各位同学指出，我定悉心求教。在此，向编写《计算广告》的刘鹏和王超两位老师致谢，向各位paper作者致谢。
flume 入门
shine
04-11 192
flume实现场景：日志流式系统 多个agent 通过设置 sink，source 可以实现数据合流到一个agent上，在利用logSink 数据落地，或者自定义sink，利用post请求发到接口 参考文件： flume 介绍： https://www.cnblogs.com/zhangyinhua/p/7803486.html#_label2 Apache-Flume日志收集+...
【Flume】Flume入门解析（二）
Together
04-22 3231
（图片来源于网络，侵删） 一、案例实战 【1】Flume故障转移（failover） Failover Sink Processor能够实现failover功能，具体流程类似load balance，但是内部处理机制与load balance完全不同 Failover Sink Processor维护一个优先级Sink组件列表，只要有一个Sink组件可用，Event就被传递到下一个组件。故障转...
flume介绍
weixin_43519014的博客
12-21 374
概述 Flume最早是Cloudera提供的日志收集系统，后贡献给Apache，所以目前是Apache下的项目。 Flume是一个高可用的、高可靠的 鲁棒性（robust 健壮性）、分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据(source);同时，Flume提供对数据进行简单处理，并写到各种数据接受方(可定制)的能力(sink)。 当前Flu...
第一章 flume简介（详细版本）
张国荣家的弟弟
12-16 686
flume简介flume概念flume基础架构AgentSourceSinkChannelEventHadoop业务的整体开发流程 flume概念 flume是cloudera提供的一个高可用，高可靠，分布式的海量日志收集，聚合和传输的系统 特点 Flume支持在日志系统中定制各种数据发送方，用于收集数据 Flume提供对数据进行处理，并写到各种不同的数据接收方的能力(可定制). flume流程 Flume最主要的作用就是，实时读取服务器本地磁盘的数据，将数据写入到HDFS。 flume基础架构 下面我们
flume简介
ping的博客
06-20 433
一 flume简介flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，　　并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。　　flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位，它携带日志数据(字节数组形式)并且携带有头信息，这些Event由A...
大数据学习——Flume入门
5akura's Blog
08-06 2409
文章目录一、Flume概述1.1、Flume定义1.2、Flume基础架构二、Flume快速入门2.1、安装Flume部署2.2、入门案例2.2.1、监控端口数据（官方案例）Describe the sinkUse a channel which buffers events in memoryBind the source and sink to the channel2.2.2、实时监控单个追加文件2.2.3、监控文件 升级版2.2.4、监控文件夹变化2.2.5、断点续传——实时监控目录文件追加修改三、
Flume 入门教程（超详细）
西门催学不吹雪
03-10 2万+
文章目录1. Flume 概述1.1 Flume 定义 1. Flume 概述 1.1 Flume 定义   
Flume安装及测试
哈
03-15 1900
前置博客 安装telnet 安装 将apache-flume-1.9.0-bin.tar.gz上传到并解压到linux的/url/local目录下 将flume/conf下的flume-env.sh.template文件修改为flume-env.sh，并配置flume-env.sh文件 测试： 示例：监听指定端口telnet发送来的数据 第一步：在flume目录下创建文件夹job，然后在其下...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值