flume ng进击之路（一）—— 入门

最新推荐文章于 2019-12-24 20:42:44 发布

简牧

最新推荐文章于 2019-12-24 20:42:44 发布

阅读量827

点赞数 1

分类专栏： flume 文章标签： flume 日志收集

本文链接：https://blog.csdn.net/qq_35799003/article/details/52274939

版权

Apache Flume是一个用于高效收集、聚合和传输大量日志数据的分布式系统。本文主要介绍Flume-ng，它取消了Master和Zookeeper，采用异步设计，提高了数据处理能力。文章涵盖Flume的核心概念，如Source、Channel和Sink，并提供了一个简单的配置示例，指导如何启动和观察Flume进程。

摘要由CSDN通过智能技术生成

概述

Apache flume是一个用于从很多不同的数据源高效收集、聚合并传输大量日志数据到一个集中的数据存储的分布式、可靠且可用的系统。
flume不仅仅用于日志数据的聚合，由于数据源是可定制的，flume可用于传输大量event（事件）数据，包括但不限于网络传输数据，来自社会媒体的数据，Email和大量其他的数据源。
当前Flume有两个版本Flume 0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构，与Flume-og有很大不同，使用时请注意区分。
Flume-ng最明显的改动就是取消了集中管理配置的 Master 和 Zookeeper，变为一个纯粹的传输工具。Flume-ng另一个主要的不同点是读入数据和写出数据现在由不同的工作线程处理（称为 Runner）。在 Flume-og 中，读入线程同样做写出工作（除了故障重试）。如果写出慢的话（不是完全失败），它将阻塞 Flume 接收数据的能力。这种异步的设计使读入线程可以顺畅的工作而无需关注下游的任何问题。
在我们的生产环境中，我们常用flume来收集服务的日志来聚合处理。

一些核心概念

概念	说明
Agent	使用JVM 运行Flume。每台机器运行一个agent，但是可以在一个agent中包含多个sources和sinks。
Client	生产数据，运行在一个独立的线程。
Source