Flume的搭建

Flume的搭建

1…将Flume安装包上传到虚拟机并解压

tar -zxvf flume安装包路径 /root/
mv /root/flume安装包名  /root/flume  # (重命名)

2.进入flume的目录，修改conf下的flume-env.sh,在里面配置JAVA_HOME

cd /root/flume/conf
vi flume-env.sh
# 如下配置:
export JAVA_HOME=/root/jdk

3.根据数据采集需求配置采集方案，描述在配置文件中(文件名可任意自定义)

• 指定采集方案配置文件，在相应的节点上启动flume agent。用一个最简单的例子来测试一下程序环境是否正常

• 先在flume的conf目录下新建一个文件

  vi nect.conf
  
  # 定义这个agent中各组件的名字
  
  a1.sources = r1
  a1.sinks = k1
  a1.channels = c1
  
  # 描述和配置source组件：r1
  
  a1.sources.r1.type = netcat
  a1.sources.r1.bind = localhost
  a1.sources.r1.port = 44444 
  
  # 描述和配置sink组件：k1
  
  a1.sinks.k1.type = logger
  
  # 描述和配置channel组件，此处使用是内存缓存的方式
  
  a1.channels.c1.type = memory
  a1.channels.c1.capacity = 1000
  a1.channels.c1.transactionCapacity = 100
  
  # 描述和配置source  channel   sink之间的连接关系
  
  a1.sources.r1.channels = c1
  a1.sinks.k1.channel = c1
  
  
  
  

• 启动agent去采集数据

  cd /root/flume
  bin/flume-ng agent -c conf -f conf/nect.conf -n a1  -Dflume.root.logger=INFO,console
  -c conf   指定flume自身的配置文件所在目录
  -f conf/netcat-logger.con  指定我们所描述的采集方案
  -n a1  指定我们这个agent的名字
  

• 测试

  # 先要往agent采集监听的端口上发送数据，让agent有数据可采。
  # 随便在一个能跟agent节点联网的机器上：
  telnet anget-hostname  port   （telnet localhost 44444）
  # 然后直接输入数据测试
  # 注意 telnet未找到命令需下载
  yum list telnet # 列出相关包
  yum -y intsall telnet
  yum -y install telnet-server
  

• 更多参考下面

[https://blog.csdn.net/weixin_42628594/article/details/87861505]: