flume的搭建与部署

1.什么是flume

2.flume的安装

3.配置环境变量

4.修改配置文件

5.测试配置文件

1.什么是flume

Flume是一个分布式、高可靠、高可用的用来收集、聚合、转移不同来源的大量日志数据到中央数据仓库的工具，是Hadoop的相关组件之一。其传输数据的基本单位为：Event

主要分为：Source、Sink、Channel这三个部分

(1)、Source：从数据源接收数据；

(2)、Sink：传递数据给目的地；

(3)、Channel：连接Source和Sink的管道，数据缓存

2.flume的安装

进入flume官网进行下载：Flume 1.9用户手册中文版 — 可能是目前翻译最完整的版本了

在Hadoop中进行下载，下载好之后就是这个样子

解压flume安装包

  输入相关代码

  解压之后再ll查看

3.配置安装环境

  输入配置代码

添加配置代码

4.修改配置文件

进入到flume配置文件中

输入代码修改配置文件

添加java环境变量

查看flume安装版本

5.测试配置文件

在conf中编写一个新的配置文件

配置文件示例：

在flume官网中有很多配置文件的代码，可以直接复制在hadoop中组合起来便可，并且每一句代码都有对应的解释，很清晰。

启动配置文件

执行结果如下

重新打开和上一个相同的节点

安装Telnet服务

输入在配置文件中的主机名和指定端口号

在其中输入代码都可

在第一个节点中查看结果，和第二个节点中最后输入的一致即可

在第一个节点中输入ctrl+c退出即可

最后测试成功