flume软件下载地址:http://flume.apache.org/
打开SecureCRT这个软件,切换到 /usr/local目录 然后将apache-flume-1.9.0-bin.tar.gz 拖到SecureCRT软件中,选择send zmodem,开始上传
tar -zxvf apache-flume-1.9.0-bin.tar.gz 解压
rm -f apache-flume-1.9.0-bin.tar.gz 删除压缩包
mv apache-flume-1.9.0-bin.tar.gz flume 重命名
切换到 /usr/local/flume/conf 目录下
修改文件名 mv flume-env.sh.template flume-env.sh
打开flume-env.sh这个文件 vi flume-env.sh
添加 环境变量配置 export JAVA_HOME=/usr/java/jdk1.8.0_211-amd64 具体的路径根据自己java_home路径而定
至此,flume安装已经完成,可以说安装比较简单 解压+配置文件中添加环境变量路径
下面做一个简单flume案例,flume监控本机的某个端口实时发过来的数据,然后通过控制台消费
在flume下面创建一个文件夹job mkdir job
cd job
当前目录 : /usr/local/flume/job
vim flume-netcat.conf
# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444
# Describe the sink
a1.sinks.k1.type = logger
# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
下面开启flume监听端口
切到flume目录下:执行
bin/flume-ng agent --conf conf/ --name a1 --conf-file job/flume-netcat.conf -Dflume.root.logger=INFO,console
成功启动后,如下:
新开一个窗口,用于向本机 44444端口发送数据
telnet安装: https://blog.csdn.net/qq_15267341/article/details/94817160
这里一定要注意,flume先启动,监听44444端口,然后再telnet 本机ip 44444,否则如果不启动flume直接telnet会报如下错误
有时telnet localhost 如果不行 ,试试telnet 本机ip
FR:徐海涛(hunk Xu)
QQ技术交流群:386476712