flume安装及实战

flume官方下载地址：Welcome to Apache Flume — Apache Flume

一、flume安装

（1）解压至安装目录

tar -zxf ./apache-flume-1.9.0-bin.tar.gz -C /opt/soft/

（2）配置文件flume-env.sh

cd /opt/soft/flume190/conf
ll
cp ./flume-env.sh.template ./flume-env.sh
vim ./flume-env.sh
------------------------------------
22 export JAVA_HOME=/opt/soft/jdk180
25 export JAVA_OPTS="-Xms2000m -Xmx2000m -Dcom.sun.management.jmxremete"
-----------------------------------

（3）安装net-tools、安装netcat、安装telnet服务、安装telnet客户端

yum install -y net-tools                     安装

yum install -y nc                               安装netcat

yum install -y telnet-server              安装telnet服务端

yum install -y telnet.*                       安装telnet客户端

（4）启动服务

netstat -lnp | grep 7777                    查看指定端口是否被占用

nc -lk 7777                                       启动服务端

telnet localhost 7777                       连接服务器

注：一个服务端可以连接多个客户端；服务端关闭，客户端也关闭。

（5）拷贝Hadoop下guava-27.0-jre.jar的到flume下

cp /opt/soft/hadoop313/share/hadoop/hdfs/lib/guava-27.0-jre.jar /opt/soft/flume190/lib/

二、flume实战

（一）/opt/soft/flume190/conf/myconf2目录下配置netcat-logger.conf 文件

vim ./netcat-logger.conf

#配置Agent a1的组件
a1.sources=r1
a1.channels=c1
a1.sinks=k1

a1.sources.r1.type=netcat       #netcat表示通过指定端口来访问
a1.sources.r1.bind=localhost    #主机名称
a1.sources.r1.port=7777        #指定端口

a1.channels.c1.type=memory   #选择管道类型

a1.sinks.k1.type=logger        #表示数据汇聚点的类型是logger日志
a1.sources.r1.channels=c1  
a1.sinks.k1.channel=c1

启动

./bin/flume-ng agent --name a1 --conf ./conf/ --conf-file ./conf/myconf2/netcat-logger.conf -Dflume.root.logger=INFO,console

（二）通过路径监控---配置filelogger.conf文件-->监控flumelog.log文件的内容

1、拓展

mkdir /opt/soft/tmp                               创建目录

 vim ./flumelog.log                                配置被监控文件

tail -f ./flumelog.log                               启动被监控文件

 echo "aaaa" >> ./flumelog.log             输入文件，检测可以输入内容

2、filelogger.conf配置文件

a2.sources=r1
a2.channels=c1
a2.sinks=k1
a2.sources.r1.type=exec
a2.sources.r1.command=tail -f /opt/soft/tmp/flumelog.log

a2.channels.c1.type=memory
a2.channels.c1.capacity=1000
a2.channels.c1.transactionCapacity=100

a2.sinks.k1.type=logger

a2.sources.r1.channels=c1
a2.sinks.k1.channel=c1    【没有S】

3、启动

./bin/flume-ng agent --name a2 --conf ./conf/ --conf-file ./conf/myconf2/filelogger.conf -Dflume.root.logger=INFO,console

（三）输出上传到hdfs内----配置file-flume-hdfs.conf文件

（1）启动Hadoop，并退出安全模式

start-all.sh
hdfs dfsadmin -safemode leave

（2）配置file-flume-hdfs.conf文件

a3.sources=r1
a3.channels=c1
a3.sinks=k1

a3.sources.r1.type=exec
a3.sources.r1.command=tail -f /opt/soft/tmp/flumelog.log

a3.channels.c1.type=memory
a3.channels.c1.capacity=1000
a3.channels.c1.transactionCapacity=100

a3.sinks.k1.type=hdfs
a3.sinks.k1.hdfs.fileType=DataStream
a3.sinks.k1.hdfs.filePrefix=flumetohdfs
a3.sinks.k1.hdfs.fileSuffix=.txt
a3.sinks.k1.hdfs.path=hdfs://192.168.91.11:9000/kb23flume/

a3.sources.r1.channels=c1
a3.sinks.k1.channel=c1

（四）输出两个路径----配置netcat-logger.conf 文件

a4.sources=s1
a4.channels=c1 c2
a4.sinks=k1 k2

a4.sources.s1.type=exec
a4.sources.s1.command=tail -f /opt/soft/tmp/flumelog.log

a4.channels.c1.type=memory
a4.channels.c2.type=memory

a4.sinks.k1.type=logger
a4.sinks.k2.type=hdfs
a4.sinks.k2.hdfs.fileType=DataStream
a4.sinks.k2.hdfs.filePrefix=flumetohdfs
a4.sinks.k2.hdfs.fileSuffix=.txt
a4.sinks.k2.hdfs.path=hdfs://192.168.91.11:9000/kb23flume1/

a4.sources.s1.channels=c1 c2
a4.sinks.k1.channel=c1
a4.sinks.k2.channel=c2