Flume环境搭建及使用手册

Flume的安装

1. 下载Flume，可以选择去官网下载，我选择的版本apache-flume-1.9.0-bin.tar.gz

点击这里哟

2. 将压缩包上传到/usr/local/software上面

3. 解压文件

tar -zxvf /usr/local/software/apache-flume-1.9.0-bin.tar.gz -C /usr/local/

4. 修改文件夹名称

mv apache-flume-1.9.0-bin flume

5. 进入flume/conf目录下修改文件名字

cd flume/conf

 mv flume-env.sh.template  flume-env.sh

6. 修改 flume-env.sh的配置，注意前面的#号要去掉

vim flume-env.sh

export JAVA_HOME=/usr/local/jdk1.8

7. 环境变量的配置

其实环境变量的配置方法有很多，说麻烦也麻烦，说简单也简单，笔者把网上的资料整理了一些

1、系统环境变量

系统环境变量对全部的用户生效，设置系统环境变量有三种方法。

• 1 在/etc/profile文件中设置。

用户登录时执行/etc/profile文件中设置系统的环境变量。但是，Linux不建议在/etc/profile文件中设置系统环境变量。

• 2在/etc/profile.d目录中增加环境变量脚本文件，这是Linux推荐的方法。

/etc/profile在每次启动时会执行/etc/profile.d下全部的脚本文件。/etc/profile.d比/etc/profile好维护，不想要什么变量直接删除/etc/profile.d下对应的 shell 脚本即可。

• 3 在/etc/bashrc文件中设置环境变量。

该文件配置的环境变量将会影响全部用户使用的bash shell。但是，Linux也不建议在/etc/bashrc文件中设置系统环境变量。

2、用户环境变量

用户环境变量只对当前用户生效，设置用户环境变量也有多种方法。

在用户的主目录，有几个特别的文件，用ls是看不见的，用 ls .bash_* 可以看见。

• 1 bash_profile(推荐首选)

当用户登录时执行，每个用户都可以使用该文件来配置专属于自己的环境变量。

• 2 bashrc

当用户登录时以及每次打开新的Shell时该文件都将被读取，不推荐在里面配置用户专用的环境变量，因为每开一个Shell，该文件都会被读取一次，效率肯定受影响。

笔者是在bashrc下配置的，因为笔者只有一个root用户，而且之前有太多的环境变量配置在这里面了

vim ~/.bashrc

# FLUME_HOME
export FLUME_HOME=/usr/local/flume
export PATH=$PATH:$FLUME_HOME/bin

source ~/.bashrc

8. 测试flume 在任意目录下输入【flume-ng version】查看flume是否安装成功

flume-ng version

FLuem的配置

1. 配置文件exapmle.conf

首先我们进入到flume的conf目录下

cd /usr/local/flume/conf

接着创建一个名为example.conf的文件，并且向里面写入配置项

touch example.conf
vim example.conf

#写入的配置项
# example.conf: A single-node Flume configuration

# Name the components on this agent 三大组件的名称
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source 第一个sources来源的类型 第二个绑定的IP 第三个是输出端口
a1.sources.r1.type = netcat
a1.sources.r1.bind = master
a1.sources.r1.port = 44444

# Describe the sink sink名词水池的意思
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory 管道组件的配置
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel 这一步是为了将三个组件关联起来
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

2. 运行第一个demo 并测试

运行命令

flume-ng agent --name a1  --conf conf --conf-file /usr/local/flume/conf/example.conf 

使用telnet命令测试，刚才打开的shell终端不要关闭，在开一个新端口输入命令，连接成功后输入信息即可，有的虚拟机节点化安装可能没有安装telnet命令，这里推荐去这个博主下面查看安装命令

telnet安装

telnet master 44444

可以看到我们的flume程序已经打印出来刚才输入的信息了

总结

flume的安装配置没有什么太大问题后续，有什么问题在官网一查即可，后续还要安装tomcat

还有，我是说如果可以，可以给我一个赞吗