【flume】日志收集使用

最新推荐文章于 2024-04-15 12:56:20 发布
最新推荐文章于 2024-04-15 12:56:20 发布
阅读量207 收藏
点赞数 1
分类专栏： 大数据专题 文章标签： flume 大数据 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/frank_0807/article/details/114382394
版权

flume的安装和使用

一.介绍

1.流动方式

1.单级流动
2.多级流动
3.扇入流动
4.扇出流动

二.安装部署

1.解压进入根目录

三.基本使用和配置

touch data
cd data
vim base.conf

1.nc消息监听

  • 基于channel缓存

# 给Agent起名a1
a1.sources = s1
# 给channel起名
a1.channels = c1
# 给sink起名
a1.sinks = k1

# 配置source的类型
a1.sources.s1.type = netcat
#配置监听的主机
a1.sources.s1.bind = 0.0.0.0
# 配置监听的端口
a1.sources.s1.port = 8090

# 配置channel
a1.channels.c1.type = memory
# 配置容量10000条，生产环境10万
a1.channels.c1.capacity = 10000
# 配置往sink发送的数据量，每个事物的最大事件数1000-3000
a1.channels.c1.transactionCapacity = 1000

# 配置sink
a1.sinks.k1.type = logger

# 将source和channel绑定
a1.sources.s1.channels = c1
#将sink和channel绑定
a1.sinks.k1.channel = c1

2.avro监听(重点)

vim avro.conf

# 给Agent起名a1
a1.sources = s1
# 给channel起名
a1.channels = c1
# 给sink起名
a1.sinks = k1

#配置source的类型
a1.sources.s1.type = avro
#配置监听的主机
a1.sources.s1.bind = 0.0.0.0
#配置监听的端口
a1.sources.s1.port = 8090

# 配置channel
a1.channels.c1.type = memory
#配置容量10000条
a1.channels.c1.capacity = 10000
# 配置往sink发送的数据量
a1.channels.c1.transactionCapacity = 1000

#配置sink
a1.sinks.k1.type = logger

#将source和channel绑定
a1.sources.s1.channels = c1
#将sink和channel绑定
a1.sinks.k1.channel = c1

3.监听某个命令的结果的日志模版

vim execsource.conf

# 给Agent起名a1
a1.sources = s1
# 给channel起名
a1.channels = c1
# 给sink起名
a1.sinks = k1

#配置source的类型
a1.sources.s1.type = exec
#（tail -F）每次查看最后一行数据
a1.sources.s1.command = cat /home/a.txt
#配置监听的主机
#a1.sources.s1.bind = 0.0.0.0
#配置监听的端口
#a1.sources.s1.port = 8090

# 配置channel
a1.channels.c1.type = memory
#配置容量10000条
a1.channels.c1.capacity = 10000
# 配置往sink发送的数据量
a1.channels.c1.transactionCapacity = 1000

#配置sink
a1.sinks.k1.type = logger

#将source和channel绑定
a1.sources.s1.channels = c1
#将sink和channel绑定
a1.sinks.k1.channel = c1

4.监听指定文件(重点)

# 给Agent起名a1
a1.sources = s1
# 给channel起名
a1.channels = c1
# 给sink起名
a1.sinks = k1

#配置source的类型
a1.sources.s1.type = spooldir
a1.sources.s1.spoolDir = cat /usr/local
#配置监听的主机
#a1.sources.s1.bind = 0.0.0.0
#配置监听的端口
#a1.sources.s1.port = 8090

# 配置channel
a1.channels.c1.type = memory
#配置容量10000条
a1.channels.c1.capacity = 10000
# 配置往sink发送的数据量
a1.channels.c1.transactionCapacity = 1000

#配置sink
a1.sinks.k1.type = logger

#将source和channel绑定
a1.sources.s1.channels = c1
#将sink和channel绑定
a1.sinks.k1.channel = c1

5.序列产生器(不断的产生数据)

# 给Agent起名a1
a1.sources = s1
# 给channel起名
a1.channels = c1
# 给sink起名
a1.sinks = k1

#配置source的类型
a1.sources.s1.type = seq
#配置监听的主机
#a1.sources.s1.bind = 0.0.0.0
#配置监听的端口
#a1.sources.s1.port = 8090

# 配置channel
a1.channels.c1.type = memory
#配置容量10000条
a1.channels.c1.capacity = 10000
# 配置往sink发送的数据量
a1.channels.c1.transactionCapacity = 1000

#配置sink
a1.sinks.k1.type = logger

#将source和channel绑定
a1.sources.s1.channels = c1
#将sink和channel绑定
a1.sinks.k1.channel = c1

6.监听HTTP(重点)

# 给Agent起名a1
a1.sources = s1
# 给channel起名
a1.channels = c1
# 给sink起名
a1.sinks = k1

#配置source的类型
a1.sources.s1.type = http
#配置监听的主机
a1.sources.s1.bind = 0.0.0.0
#配置监听的端口
a1.sources.s1.port = 8090

# 配置channel
a1.channels.c1.type = memory
#配置容量10000条
a1.channels.c1.capacity = 10000
# 配置往sink发送的数据量
a1.channels.c1.transactionCapacity = 1000

#配置sink
a1.sinks.k1.type = logger

#将source和channel绑定
a1.sources.s1.channels = c1
#将sink和channel绑定
a1.sinks.k1.channel = c1

7.启动和测试

cd bin
./flume-ng agent -n a1 -c ../conf -f ../data/basic.conf -Dflume.root.logger=INFO,console

  • 附带nc工具安装
    yum install -y nc

  • nc发送命令测试
    nc iZ2ze8tuatzv94fm6fgl1jZ 8090
    hello

  • 发送avro序列化发送文件测试：
    ./flume-ng avro-client -H 0.0.0.0 -p 8090 -F /home/a.txt -c ../conf

  • 发送Http测试：
    curl -X POST -d '[{"headers":{"class":"123"},"body":"This is big data"}]' http://0.0.0.0:8090

8.其它

  • 基于channel持久化存到磁盘（临时存放）

# 给Agent起名a1
a1.sources = s1
# 给channel起名
a1.channels = c1
# 给sink起名
a1.sinks = k1

# 配置source的类型
a1.sources.s1.type = netcat
#配置监听的主机
a1.sources.s1.bind = 0.0.0.0
#配置监听的端口
a1.sources.s1.port = 8090

# 配置channel
a1.channels.c1.type = file
a1.channels.c1.dataDirs = /home/flumefile
# 配置往sink发送的数据量，每个事物的最大事件数1000-3000
a1.channels.c1.transactionCapacity = 1000

# 配置sink
a1.sinks.k1.type = logger
#将source和channel绑定
a1.sources.s1.channels = c1
#将sink和channel绑定
a1.sinks.k1.channel = c1

  • 更换sink类型，将内容写入文件

# 给Agent起名a1
a1.sources = s1
# 给channel起名
a1.channels = c1
# 给sink起名
a1.sinks = k1

#配置source的类型
a1.sources.s1.type = netcat
#配置监听的主机
a1.sources.s1.bind = 0.0.0.0
#配置监听的端口
a1.sources.s1.port = 8090

# 配置channel
a1.channels.c1.type = memory
#配置容量10000条，生产环境10万
a1.channels.c1.capacity = 10000
# 配置往sink发送的数据量，每个事物的最大事件数1000-3000
a1.channels.c1.transactionCapacity = 1000

#配置sink,将sink写入文件
a1.sinks.k1.type = file_roll
a1.sinks.k1.sink.directory = /home/flumedata
#每隔30秒一个新文件，单位是秒
a1.sinks.k1.sink.rollInterval = 600

#将source和channel绑定
a1.sources.s1.channels = c1
#将sink和channel绑定
a1.sinks.k1.channel = c1

  • sink发送到HDFS（按天存）

# 给Agent起名a1
a1.sources = s1
# 给channel起名
a1.channels = c1
# 给sink起名
a1.sinks = k1

#配置source的类型
a1.sources.s1.type = netcat
#配置监听的主机
a1.sources.s1.bind = 0.0.0.0
#配置监听的端口
a1.sources.s1.port = 8090
#配置拦截器
a1.sources.s1.interceptors = i1
#时间戳拦截器，可以获取时间戳
a1.sources.s1.interceptors.i1.type = timestamp

# 配置channel
a1.channels.c1.type = memory
#配置容量10000条，生产环境10万
a1.channels.c1.capacity = 10000
# 配置往sink发送的数据量，每个事物的最大事件数1000-3000
a1.channels.c1.transactionCapacity = 1000

#配置sink,将sink写入hdfs
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://hadoopalone:9000/flume/time=%Y-%m-%D
#每隔30秒一个新文件，单位是秒
a1.sinks.k1.hdfs.rollInterval = 600
a1.sinks.k1.hdfs.fileType = DataStream

#将source和channel绑定
a1.sources.s1.channels = c1
#将sink和channel绑定
a1.sinks.k1.channel = c1

  • avro Sink(可以实现多级流动)

# 给Agent起名a1
a1.sources = s1
# 给channel起名
a1.channels = c1
# 给sink起名
a1.sinks = k1

#配置source的类型
a1.sources.s1.type = netcat
#配置监听的主机
a1.sources.s1.bind = 0.0.0.0
#配置监听的端口
a1.sources.s1.port = 8090

# 配置channel
a1.channels.c1.type = memory
#配置容量10000条，生产环境10万
a1.channels.c1.capacity = 10000
# 配置往sink发送的数据量，每个事物的最大事件数1000-3000
a1.channels.c1.transactionCapacity = 1000

#配置sink,将sink写入下一flume
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = 192.168.0.1
a1.sinks.k1.port = 8090


#将source和channel绑定
a1.sources.s1.channels = c1
#将sink和channel绑定
a1.sinks.k1.channel = c1

  • 扇出(默认是广播–复制模式)

#给Agent起名a1
a1.sources = s1
#给channel起名
a1.channels = c1 c2
#给sink起名
a1.sinks = k1 k2

#配置source的类型
a1.sources.s1.type = netcat
#配置监听的主机
a1.sources.s1.bind = 0.0.0.0
#配置监听的端口
a1.sources.s1.port = 8090

#配置channel
a1.channels.c1.type = memory
#配置容量10000条，生产环境10万
a1.channels.c1.capacity = 10000
#配置往sink发送的数据量，每个事物的最大事件数1000-3000
a1.channels.c1.transactionCapacity = 1000
#配置channel
a1.channels.c2.type = memory
#配置容量10000条，生产环境10万
a1.channels.c2.capacity = 10000
#配置往sink发送的数据量，每个事物的最大事件数1000-3000
a1.channels.c2.transactionCapacity = 1000

#配置sink,将sink写入下一flume
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = 192.168.0.1
a1.sinks.k1.port = 8090
a1.sinks.k2.type = avro
a1.sinks.k2.hostname = 192.168.0.2
a1.sinks.k2.port = 8090

#将source和channel绑定
a1.sources.s1.channels = c1 c2
#将sink和channel绑定
a1.sinks.k1.channel = c1
a1.sinks.k2.channel = c2

  • 扇出（路由模式）

#给Agent起名a1
a1.sources = s1
#给channel起名
a1.channels = c1 c2
#给sink起名
a1.sinks = k1 k2

#配置source的类型
a1.sources.s1.type = http
#配置监听的端口
a1.sources.s1.port = 8090
#配置为路由模式
a1.sources.s1.selector.type = multiplexing
#根据header头进行判断
a1.sources.s1.selector.header = class
#如果header值为big1902发往c1
a1.sources.s1.selector.mapping.big1902= c1
#如果header值为big1903发往c2
a1.sources.s1.selector.mapping.big1903= c2
#如果是其它的发到c2
a1.sources.s1.selector.default = c2
#配置channel
a1.channels.c1.type = memory
#配置容量10000条，生产环境10万
a1.channels.c1.capacity = 10000
#配置往sink发送的数据量，每个事物的最大事件数1000-3000
a1.channels.c1.transactionCapacity = 1000
#配置channel
a1.channels.c2.type = memory
#配置容量10000条，生产环境10万
a1.channels.c2.capacity = 10000
#配置往sink发送的数据量，每个事物的最大事件数1000-3000
a1.channels.c2.transactionCapacity = 1000

#配置sink,将sink写入下一flume
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = 192.168.0.1
a1.sinks.k1.port = 8090
a1.sinks.k2.type = avro
a1.sinks.k2.hostname = 192.168.0.2
a1.sinks.k2.port = 8090

#将source和channel绑定
a1.sources.s1.channels = c1 c2
#将sink和channel绑定
a1.sinks.k1.channel = c1
a1.sinks.k2.channel = c2

  • 拦截器

#给Agent起名a1
a1.sources = s1
#给channel起名
a1.channels = c1
#给sink起名
a1.sinks = k1

#配置source的类型
a1.sources.s1.type = netcat
#配置监听的主机
a1.sources.s1.bind = 0.0.0.0
#配置监听的端口
a1.sources.s1.port = 8090


#配置拦截器
a1.sources.s1.interceptors = i1
a1.sources.s1.interceptors = i2
a1.sources.s1.interceptors = i3


#时间戳拦截器，可以获取时间戳
a1.sources.s1.interceptors.i1.type = timestamp
#搜索替换拦截器
a1.sources.s1.interceptors.i2.type = search_replace


#想搜索数字正则
a1.sources.s1.interceptors.i2.searchPattern = [0-9]
#搜索完了数字进行替换成*
a1.sources.s1.interceptors.i2.replaceString = *


a1.sources.s1.interceptors.i3.type = regex_filter
#如果数据中有数字会被过滤掉
a1.sources.s1.interceptors.i3.regex = .*[0-9].*
#开启刨除策略
a1.sources.s1.interceptors.i3.excludeEvents = true


#配置channel
a1.channels.c1.type = memory
#配置容量10000条，生产环境10万
a1.channels.c1.capacity = 10000
#配置往sink发送的数据量，每个事物的最大事件数1000-3000
a1.channels.c1.transactionCapacity = 1000

#配置sink
a1.sinks.k1.type = logger

#将source和channel绑定
a1.sources.s1.channels = c1
#将sink和channel绑定
a1.sinks.k1.channel = c1

  • 配置sink组实现主备/负载均衡（process\loadbalance）

四.自定义source配置

1.配置文件

# 给Agent起名a1
a1.sources = s1
# 给channel起名
a1.channels = c1
# 给sink起名
a1.sinks = k1

#配置source的类型
a1.sources.s1.type = com.source.CustomSource
#名称自定义
a1.sources.s1.file = /home/person.log
a1.sources.s1.file1 = /home/person1.log
a1.sources.s1.path2 = /home/person2.log
#配置监听的主机
#a1.sources.s1.bind = 0.0.0.0
#配置监听的端口
#a1.sources.s1.port = 8090

# 配置channel
a1.channels.c1.type = memory
#配置容量10000条
a1.channels.c1.capacity = 10000
# 配置往sink发送的数据量
a1.channels.c1.transactionCapacity = 1000

#配置sink
a1.sinks.k1.type = logger

#将source和channel绑定
a1.sources.s1.channels = c1
#将sink和channel绑定
a1.sinks.k1.channel = c1

2.编写自定义逻辑(最终打成jar包放入lib目录下)

  • 引入依赖
 <!-- https://mvnrepository.com/artifact/org.apache.flume/flume-ng-core -->
        <dependency>
            <groupId>org.apache.flume</groupId>
            <artifactId>flume-ng-core</artifactId>
            <version>1.9.0</version>
        </dependency>
  • 自定义逻辑实现
package com.source;

import org.apache.flume.Context;
import org.apache.flume.EventDrivenSource;
import org.apache.flume.Source;
import org.apache.flume.channel.ChannelProcessor;
import org.apache.flume.conf.Configurable;
import org.apache.flume.source.AbstractSource;

import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;

/**
 * 自定义source
 */

/**
 * 主动拉取数据方式：source主动去拿
 * spollingdir - pollable
 */
//public class CustomSource extends AbstractSource implements Source, PollableSource {
//
//}
/**
 * 事件驱动方式：主动往source推数据
 * seq - eventDriver
 */
public class CustomSource extends AbstractSource implements Configurable,Source, EventDrivenSource {

    private String path;
    private ExecutorService es;

    /**
     * 获取配置文件中的属性
     * @param context
     */
    @Override
    public void configure(Context context) {
        context.getInteger("port");
        path = context.getString("file");
    }

    /**
     * 启动source
     */
    @Override
    public synchronized void start() {
        ChannelProcessor cp = this.getChannelProcessor();
        es = Executors.newFixedThreadPool(10);
        es.submit(new FileThread(path,cp));

    }

    @Override
    public synchronized void stop() {
        es.shutdown();
    }
}


package com.source;

import org.apache.flume.Event;
import org.apache.flume.channel.ChannelProcessor;
import org.apache.flume.event.EventBuilder;

import java.io.*;
import java.util.HashMap;
import java.util.Map;

public class FileThread implements Runnable {
    private BufferedReader br;
    private ChannelProcessor cp;
    public FileThread(String path, ChannelProcessor cp) {
        this.cp=cp;
        File file = new File(path);
        if(file.isFile())
        try {
            br = new BufferedReader(new FileReader(path))
        } catch (FileNotFoundException e) {
            e.printStackTrace();
        }
    }

    @Override
    public void run() {
        while (true){
            try {
                String name = br.readLine();
                if(name == null){
                    break;
                }
                String age = br.readLine();
                String description = br.readLine();
                Map<String,String> headers = new HashMap<>(2);
                headers.put("name",name);
                headers.put("age",age);
                //创建event对象
                Event e = EventBuilder.withBody(description.getBytes(),headers);
                //将event放到channel中
                cp.processEvent(e);
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
        try {
            br.close();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

五.自定义sink

package com.source;

import org.apache.flume.*;
import org.apache.flume.channel.ChannelProcessor;
import org.apache.flume.conf.Configurable;
import org.apache.flume.sink.AbstractSink;
import org.apache.flume.source.AbstractSource;

import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
/**
 * 自定义source
 */
public class CustomSink extends AbstractSink implements Configurable, Sink{
    @Override
    public Status process() throws EventDeliveryException {
        return null;
    }

    @Override
    public void configure(Context context) {

    }
}

六.事务

source :putList (双向队列)
sink: takeList (双向队列)

frank_0807
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Flume日志收集
02-25
Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。(1)可靠性当节点出现故障时...
Flume 自定义拦截器 多行读取日志+截断
02-27 1483
前言： Flume百度定义如下： Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 搭建并使用flume不是特别难，而且网上也有技术文章分享，我不再赘述了。本文主要建立在已经搭建并使用flum...
Flume 三：监测本地目录写入日志
cai_and_luo的博客
05-20 358
Flume 三：监测目录写入日志一：创建目录二：创建配置文件三：启动四：把要用的文件放入 Linux 本地（用xftp进行拖拽） 本文用到的文件会上传以供下载练习 一：创建目录 在/opt下面创建 Flume 要监测的目录 /opt/flumelog/events [root@cai flumelog]# mkdir events 创建监查点的目录 /opt/flumelog/checkpoint/events [root@cai flumelog]# mkdir checkpoint [root@ca
Flume报错解决方法：找不到命令 flume-ng，但它确实存在于当前位置。默认情况下，Windows PowerShell 不会从当前 位置加载命令。（系统找不到指定路径）
最新发布
weixin_65194071的博客
04-15 950
https://www.ctyun.cn/zhishi/p-261316方法二： 解决方法：找到目录下的文件C:clapache-flume-1.9.0-bin\bin\flume-ng.ps1，删除其339-405行的代码，重新执行命令即可。方法三：配置自己jdk的环境变量参考如下：（1）添加（2）在系统变量中path添加还可添加Flume的环境变量总结：我可以成功采取了三个办法结合（之前一个一个都没试出来）在cmd下，运行 flume-ng version 终于成功了！！！有想法，有帮助的，有效的请动动
Flume数据采集各种配置详解
热门推荐
重点在于记录
06-07 1万+
Flume简介 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 系统功能 日志收集 Flume最早是Cloudera提供的日志收集系统，目前是Apache下的一个孵化项目，Fl...
Dependency ‘XXX:‘ not found，三步解决
m0_56375025的博客
11-11 7548
Dependency ‘XXX:‘ not found，三步解决
解决Dependency ‘xxxx‘ not found
qq_43203949的博客
08-24 3074
解决"Dependency 'xxxx‘ not found" 文章目录解决"Dependency 'xxxx‘ not found"导致原因方法一方法二方法三 导致原因 原因是maven无法在本地仓库和远程仓库中发现依赖，maven是有很多远程仓库的，而maven默认去Central仓库去找依赖的，当然有些人是配置了远程仓库镜像的，比如阿里云maven镜像，但是镜像源中并不包含该依赖，也可能报错。 方法一 添加jar包所在的仓库路径，在maven的settings.xml文件中。 mirrorOf字段
Flume日志收集与MapReduce模式
07-23
资源名称：Flume日志收集与MapReduce模式资源截图： 资源太大，传百度网盘了，链接在附件中，有需要的同学自取。
日志收集之Flume
02-25
日志是系统数据的基石，对于系统的安全来说...Cloudera开发的分布式日志收集系统Flume，是hadoop周边组件之一。其可以实时的将分布在不同节点、机器上的日志收集到hdfs中。Flume初始的发行版本目前被统称为FlumeOG（ori
maven配置，以及项目“Dependency ‘xxxx‘ not found“解决过程
doublepg13的博客
05-18 2330
项目场景： 提示：这里简述项目相关背景： 例如：项目场景：示例:通过蓝牙芯片(HC-05)与手机 APP 通信，每隔 5s 传输一批传感器数据(不是很大) 问题描述： 提示：这里描述项目中遇到的问题： 例如：数据传输过程中数据不时出现丢失的情况，偶尔会丢失一部分数据 APP 中接收数据代码： @Override public void run() { bytes = mmInStream.read(buffer); mHandler.obta
解决Dependency ‘XXXX‘ not found问题
m0_56225186的博客
04-15 2559
解决Dependency ‘XXXX’ not found问题 第一次用idea创建Maven项目，导入依赖包时就出现Dependency ‘xxxx’ not found问题，在网上查了许多，发现只需要在idea中找到File–>Invalidate Caches / Restart点击Invalidate and Restart等待就可以了 ...
Apache Flume 1.9.0的安装和使用
Bulut0907
06-23 626
目录1. 下载解压2. 修改flume-env.sh3. Flume使用 1. 下载解压 [root@bigdata003 ~]# wget https://dlcdn.apache.org/flume/1.9.0/apache-flume-1.9.0-bin.tar.gz [root@bigdata003 ~]# [root@bigdata003 ~]# tar -zxvf apache-flume-1.9.0-bin.tar.gz 2. 修改flume-env.sh 拷贝得到flume-env.sh
采集日志flume专题
jiedaodezhuti的博客
06-07 298
flume采集 集群规划： 1.项目经验之 Flume 组件选型 1.1 Source (1)Taildir Source 相比 Exec Source、Spooling Directory Source 的优势 TailDir Source：断点续传、多目录。Flume1.6 以前需要自己自定义 Source 记录每次读取文件位置，实现断点续传。 Exec Source 可以实时搜集数据，但是在 Flume 不运行或者 Shell 命令出错的情况下，数据将会丢失。 Spooling Directory
大数据技术栈环境搭建-Flume
多学多想
06-27 219
文章内容输出来源：拉勾教育大数据开发高薪训练营 集群规划 hadoop1 hadoop2 hadoop3 hadoop4 hadoop5 Flume √ Flume安装与配置 前提条件 每台机器都具备jdk环境，下述操作的jdk路径为/opt/install/jdk1.8.0_231 准备安装文件 本篇需要的文件有： flume-1.9.0 压缩包 百度网盘-提取码：8848 上传apache-flume-1.9.0-bin.tar.gz到hadoop2的/opt/sof
hadoop之flume安装错误org.apache.flume.tools.GetJavaProperty Flume 1.9.0
David_house的博客
12-06 1324
hadoop之flume 安装好flume之后，输入flume-ng version，出现以下错误： 错误: 找不到或无法加载主类 org.apache.flume.tools.GetJavaProperty Flume 1.9.0 如图所示： 解决方法： 将hbase的conf目录下hbase-env.sh的export HBASE_CLASSPATH=***注释掉。 再执行一次就成功了。...
Flume学习
weixin_44468025的博客
05-02 1837
简介： 1.Flume原本是Cloudera公司开发的后来贡献给饿了Apache的一套分布式的、可靠的、针对日志数据进行收集、汇聚和传输的机制 2.在大数据中，实际开发中有超过70%的数据来源于日志-日志是大数据的基石 3.Flume针对日志提供了非常简单且灵活的流式传输机制 4.版本 a.Flume0.X:又称之为Flume-og。依赖于Zookeeper，结构配置相对复杂，现在市面上已经停用这个版本 b.Flume1.X：又称之为Flume-og。不依赖于Zookeeper，结构配置相对简单，是市面上.
Dependency ‘xxx‘ not found解决方案
Requests
05-27 2706
问题描述： 项目是通过父子模块分离的方式创建的，因此通过父模块进行版本管理 无论如何切换下载源和配置文件都会出现not found的错误 展示部分的pom依赖如下： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
Flume【问题记录 01】【at org.apache.flume.node.Application.main(Application.java:xxx) 类问题整理+其他类型问题总结】【避坑指南】
シ風
08-24 1万+
我使用的是 apache-flume-1.9.0 版本，以下问题和解决均以此版本进行说明。 [root@tcloud ~]# flume-ng version Flume 1.9.0 Source code repository: https://git-wip-us.apache.org/repos/asf/flume.git Revision: d4fcab4f501d41597bc616921329a4339f73585e Compiled by fszabo on Mon Dec 17 20:45:
04、日志收集系统Flume-实时计算1-4：flume简介.pptx
11-30
04、日志收集系统Flume-实时计算1-4：flume简介

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值