Flume

最新推荐文章于 2024-07-23 08:03:31 发布

bingoabin

最新推荐文章于 2024-07-23 08:03:31 发布

阅读量10w+

点赞数 2

分类专栏：大数据 hadoop 文章标签： hadoop 分布式 flume flume1-7 安装flume

本文链接：https://blog.csdn.net/bingoxubin/article/details/78611032

版权

大数据同时被 2 个专栏收录

65 篇文章 14 订阅 ¥49.90 ¥99.00

订阅专栏

超级会员免费看

hadoop

47 篇文章 2 订阅 ¥49.90 ¥99.00

订阅专栏

超级会员免费看

本文详细介绍了Flume OG与Flume NG的区别，指出Flume NG因简化节点角色而不再依赖Zookeeper。文章还提供了Flume 1.7.0的安装和配置步骤，包括下载、解压、配置环境变量以及测试监听目录，展示了当在指定目录下添加文件时，Flume如何将内容实时写入HDFS。

摘要由CSDN通过智能技术生成

一、flume OG和flume NG

Flume作为Hadoop中的日志采集工具，非常的好用，但是在安装Flume的时候，查阅很多资料，发现形形色色，有的说安装Flume很简单，有的说安装Flume很复杂，需要依赖zookeeper，所以一方面说直接安装Flume，解压即可用，还有一方面说需要先装了Zookeeper才可以安装Flume。那么为何会才生这种情况呢？其实两者说的都对，只是Flume的不同版本问题。

背景介绍

Cloudera 开发的分布式日志收集系统 Flume，是 hadoop 周边组件之一。其可以实时的将分布在不同节点、机器上的日志收集到 hdfs 中。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其是在 Flume OG 的最后一个发行版本 0.94.0 中，日志传输不稳定的现象尤为严重，这点可以在 BigInsights 产品文档的 troubleshooting