Flume安装配置与基本操作

一、Flume简介

---

Flume是一种分布式的、可靠的和可用的服务，用于有效地收集、聚合和移动大量日志数据。它有一个简单灵活的基于流数据流的体系结构。它具有健壮性和容错性，具有可调可靠性机制和多种故障转移和恢复机制。它使用了一个简单的可扩展数据模型，允许在线分析应用程序。其体系结构如下：

二、Flume安装与配置

---

1. 安装Flume

   • 上传flume到/tools目录
   • 解压安装到/training目录下

     tar -zvxf apache-flume-1.9.0-bin.tar.gz -C /training/
     

   • 环境变量

     export FLUME_HOME=/training/apache-flume-1.7.0-bin
     export PATH=$PATH:$FLUME_HOME/bin
     

   • 验证

      flume-ng version
     

2. 配置flume（入门案例）
   1.创建配置文件，在flume的安装目录下conf创建hello.conf，添加如下：

   #声明三种组件 a1 = agent1
   a1.sources = r1
   a1.channels = c1
   a1.sinks = k1
   
   #定义source信息
   a1.sources.r1.type=netcat
   a1.sources.r1.bind=niit01
   a1.sources.r1.port=8888
   
   #定义sink信息
   a1.sinks.k1.type=logger
   
   #定义channel信息
   a1.channels.c1.type=memory
   
   #绑定在一起
   a1.sources.r1.channels=c1
   a1.sinks.k1.channel=c1
   

三、基本操作

---

• 启动Flume

  bin/flume-ng agent -f ../conf/hello.conf -n a1 -Dflume.root.logger=INFO,console
  

• 启动nc客户端端，如下：
  nc niit01 8888
  并输入数据，如hello world
• 查看Flume控制台输出，如下所示：
  
  上图所示为Flume已经采集到了来自nc传递过来的数据hello world。