Flume入门HelloWorld

Flume入门介绍

一、配置Flume

    

    再在该文件内追加内容：配置JAVA_HOME的绝对路径:export JAVA_HOME=/opt/module/jdk1.8.0_201

    

    到此我们的Flume配置便算结束。

二、配置单个项目

    Flume是通过不通的项目有不同的配置文件的，总的配置文件目前只需要配置下我们的Java地址

三、HelloWorld入手

    先看官网给出的配置文件

    

    1.在Flume目录下创建conf-self 目录，这个目录用来存放我们自己的项目配置文件，再在该目录下创建:flume-netcat-logger.conf

    2.vim flume-netcat-logger.conf

# agent的初始配置

# a1 表示agent的名称

# r1 表示a1的source名称

a1.sources = r1

# k1 表示a1的sink名称

a1.sinks = k1

# c1 表示a1的channels名称

a1.channels = c1


# 对source的配置

# 表示输入源类型为netcat端口类型

a1.sources.r1.type = netcat

# 表示a1的监听的主机

a1.sources.r1.bind = localhost

# 表示监听的端口

a1.sources.r1.port = 44444



# 对sink的描述

# 表示输出目的地的是控制台logger类型

a1.sinks.k1.type = logger


# 在memory中使用一个channel作为缓冲区

# 设置channels类型为memory

a1.channels.c1.type = memory

# 设置每一个channels的容量

a1.channels.c1.capacity = 1000

# 设置channels的事务容量

a1.channels.c1.transactionCapacity = 100



# 将source ,sink 绑定到channels

a1.sources.r1.channels = c1

a1.sinks.k1.channel = c1

    3.开始运行程序

    flume-ng agent -c conf/ -n a1 -f conf-self/flume-netcat-logger.conf  -Dflume.root.logger=INFO,console

    或

    flume-ng agent --conf conf/ --name a1 --conf-file conf-self/flume-netcat-logger.conf -Dflume.root.logger=INFO,console

    4.再开一个窗口，往44444口写入数据

    nc localhost 44444

    nc执行的前提是我们的系统安装了 nc , 若没有安装。请安装:sudo yum install -y nc

    

    写入HelloWorld,看到Flume监控台有：

 

    到此，我们的HelloWorld项目结束。