flume总结（安装、简介及常见异常处理）

最新推荐文章于 2022-10-09 17:01:17 发布

Ta-ttoo

最新推荐文章于 2022-10-09 17:01:17 发布

阅读量756

点赞数

分类专栏： flume 文章标签： flume

本文链接：https://blog.csdn.net/qq_39429714/article/details/83510436

版权

本文详细介绍了Apache Flume的安装步骤，包括JDK安装、Flume解压配置、环境变量设置和配置文件创建。接着，文章阐述了Flume的基本概念，如Event、Client和Agent，并分析了Flume NG架构的优势。此外，还提供了Flume异常处理的常见案例和解决方案。

摘要由CSDN通过智能技术生成

Flume的安装与部署

一、Flume的官方网站在哪里？
　　http://flume.apache.org/
二、Flume部署与测试
2.1 JDK安装
2.2 Flume安装
解压：# tar -zxvf apache-flume-1.5.0-bin.tar.gz
# tar -zxvf apache-flume-1.5.0-src.tar.gz
将apache-flume-1.5.0-src文件夹中的内容全部复制到apache-flume-1.5.0-bin文件中
# cp -ri apache-flume-1.5.0-src/* apache-flume-1.5.0-bin
2.3 环境变量设置：# vim /root/.bash_profile
环境变量生效：# source /root/.bash_profile
2.4 配置文件设置
2.4.1 flume-env.sh
修改 flume-env.sh 配置文件,主要是JAVA_HOME变量设置
验证是否安装成功：flume-ng version
2.4.2 建立配置文件example
实现Flume监听文件夹，数据写入文件夹内时将数据汇聚到HDFS
1)首先我们建立一个/home/xdl/apache-flume-1.6.0-bin/conf/example.conf文件
2)编写配置文件
具体内容如下：