flume-ng简单介绍

最新推荐文章于 2019-10-27 20:55:36 发布
最新推荐文章于 2019-10-27 20:55:36 发布
阅读量2.9k 收藏 1
点赞数
分类专栏： flume 文章标签： flume flume-ng
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/linlinv3/article/details/50053015
版权
Apache Flume是一个分布式、可靠且用于有效收集、聚合和移动大量日志数据的系统。它由Source、Channel和Sink三部分组成，分别负责搜集、存储和传输事件。事件是Flume的基本数据单位，携带日志数据并可经过Source处理后存入Channel，再由Sink处理并持久化或传给其他Source。Flume支持自定义Source、Sink和Channel，以及使用Interceptors进行日志过滤。一个典型的应用场景是使用Avro Source收集log4j日志，并通过HDFS Sink将其存储到Hadoop文件系统。
摘要由CSDN通过智能技术生成

flume 官网：http://flume.apache.org/FlumeUserGuide.html

先把flume做一个简单的比喻帮助理解：

有一个池子，它一头进水，另一头出水，进水口可以配置各种管子，出水口也可以配置各种管子，可以有多个进水口、多个出水口，

水术语称为Event，进水口术语称为Source、出水口术语成为Sink、池子术语成为Channel，Source+Channel+Sink，术语称为Agent。

flume主要是由 source channel sink 三部分组成，这三个组件的主要作用是 搜集信息，传递信息，存储信息；

最低0.47元/天 解锁文章
糖糖_
关注
专栏目录
Flume-NG
fqw2019的博客
07-17 1740
Flume-NG是一个分布式、可靠、可用的系统，它能够将不同数据源的海量日志数据进行高效收集、聚合、移动，最后存储到一个中心化数据存储系统中。由原来的Flume OG到现在的Flume NG，进行了架构重构，并且现在NG版本完全不兼容原来的OG版本。经过架构重构后，Flume NG更像是一个轻量的小工具，非常简单，容易适应各种方式日志收集，并支持failover和负载均衡。 架构设计要点 F...
FLUME-NG 使用总结
weixin_44387652的博客
04-20 1462
FLUME-NG 使用总结1、Flume-NG 概述2、Flume-NG 架构设计要点3、Flow Pipeline4、Flume NG 三个组件概要4.1、FlumeSource4.2、FlumeChannel4.3、FlumeSink5、入门应用5.1、flume-ng 通过网络端口采集数据5.2、flume-ng 通过Exec tail采集数据5.3、可能遇到的问题 1、Flume-NG 概述 Flume-NG 是一个分布式、可靠、可用的系统，它能够将不同数据源的海量日志数据进行高效收集、聚合、移动，
Flume之flume-ng
我的博客
10-27 822
Flume之flume-ng
flume-ng
刘光华的专栏
07-17 768
Flume-ng是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。         Flume-ng是flume的重构版本，改动比较大。Flume-ng不在依赖于zookeeper。Flume-ng的主要概念有source，channel，si
Flume ng 简述
wk022的专栏
08-08 480
简介 Apache flume是一个日志收集系统 可以部署到一台机子上，也可以部署到多台机子上可以从多个来源获取数据，也可以将数据发往多个地方 我们这里主要讲一下flume ng，是flume og的下一个版本，更灵活，更稳定 架构 flume ng架构图如下 每个flume实例称为agent，是一个java进程 agent中包含Source，channel，
Flume-ng
leehbing的博客
03-19 317
Flume-ng的原理和使用 原文  http://blog.javachen.com/2014/07/22/flume-ng.html 主要是转载，但是leehbing也进行了一些整理，给网友献上 1. 介绍 Flume NG是Cloudera提供的一个分布式、可靠、可用的系统，它能够将不同数据源的海量日志数据进行高效收集、聚合、移动，最后存储到一个中心化数据存储系统中。由原来的Flum
FlumeNG
y878759487的博客
09-26 461
Flume是什么？ 收集、聚合事件流数据的分布式框架 通常用于log数据 采用ad-hoc方案，有如下优点:      可靠的、可伸缩、可管理、可定制、高性能      声明式配置，可以动态更新配置      提供上下文路由功能      支持负载均衡和故障转移      功能丰富      完全的可扩展 数据收集的框架 Flume的data flow data flow描
Flume-ng 例子
u012689336的专栏
10-12 1265
本文用到的 apache-flume-1.5.0-bin.tar.gz 关于Flume 的安装可以参考：http://blog.csdn.net/u012689336/article/details/52687956
Flume-ng 多节点集群搭建
LovePeppa的专栏
04-10 1万+
Flume NG是一个分布式、可靠、可用的系统，它能够将不同数据源的海量日志数据进行高效收集、聚合，最后存储到一个中心化数据存储系统中,方便进行数据分析。事实上flume也可以收集其他信息，不仅限于日志。由原来的Flume OG到现在的Flume NG，进行了架构重构，并且现在NG版本完全不兼容原来的OG版本。相比较而言，flume NG更简单更易于管理操作。 Flume OG:Flume ori
flume-ng命令
Jay7925417的博客
05-31 5373
flume-ng命令帮助：[root@hadoop01 apache-flume-1.6.0-bin]# ./bin/flume-ng helpUsage: ./flume-ng <command> [options]...commands:  help                      display this help text  agent                ...
flume-ng安装
01-05
flume-ng安装
Flume NG高可用集群搭建详解（基于flume-1.7.0）
国山的博客
03-22 2万+
1、Flume NG简述 Flume NG是一个分布式，高可用，可靠的系统，它能将不同的海量数据收集，移动并存储到一个数据存储系统中。轻量，配置简单，适用于各种日志收集，并支持 Failover和负载均衡。并且它拥有非常丰富的组件。Flume NG采用的是三层架构：Agent层，Collector层和Store层，每一层均可水平拓展。其中Agent包含Source，Channel和 Sink，三
flume-ng的简单使用
韩利鹏
11-22 2726
首先说下怎么安装吧，flume-ng的安装，flume-ng安装特别简单 1：首先下载安装包 解压，然后进入到conf目录下，首先把flume-env.sh.template文件修改名字为flume-env.sh，然后修改flume-env.sh里面的JAVA_HOME的地址，2：测试 bin/flume-ng version 如果能出现版本信息就说明安装成功了，接下来就可以使用了使用的时候主要
Flume-ng分布式部署和配置
程序员成长之路
04-07 2613
Flume-ng分布式部署总结 1.日志总接收端的配置（负责接收各个节点发送过来的日志数据）,修改flume的安装目录下/conf/flume-conf.properties配置文件（默认没有，cp flumeconf.properties.template flume-conf.properties） agent.sources = avrosrc   agent.channels = m
Flume(NG)架构设计要点及配置实践
Jack Zhu
11-01 1346
Flume NG是一个分布式、可靠、可用的系统，它能够将不同数据源的海量日志数据进行高效收集、聚合、移动，最后存储到一个中心化数据存储系统中。由原来的Flume OG到现在的Flume NG，进行了架构重构，并且现在NG版本完全不兼容原来的OG版本。经过架构重构后，Flume NG更像是一个轻量的小工具，非常简单，容易适应各种方式日志收集，并支持failover和负载均衡。 架构设计要点
Flume-ng的原理和使用
春宇大数据专栏
03-01 798
1. 介绍 Flume 是 Cloudera 提供的日志收集系统，具有分布式、高可靠、高可用性等特点，对海量日志采集、聚合和传输，Flume 支持在日志系统中定制各类数据发送方，同时，Flume提供对数据进行简单处理，并写到各种数据接受方的能力。 Flume 使用 java 编写，其需要运行在 Java1.6 或更高版本之上。 官方网站：http://flume.apache.o
Flume NG 学习笔记（一）简介
顾晓艳的专栏
10-21 3126
一、简介 Flume是一个分布式、可靠、高可用的海量日志聚合系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据的简单处理，并写到各种数据接收方的能力。 Flume在0.9.x and 1.x之间有较大的架构调整，1.x版本之后的改称Flume NG(next generation)，0.9.x的称为Flume OG（originalgeneration）。 对于O
Flume-ng安装与使用
weixin_33698823的博客
02-25 305
一、 Flume NG核心概念 二、 Flumen NG数据流模型Flume以agent为最小的独立运行单位。一个agent就是一个JVM。单agent由Source、Sink和Channel三大组件构成。 Flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位，它携带日志数据(字节数组形式)并且携带有头信息，这些Event由Agen...
Flume-ng+Kafka+storm的学习笔记
热门推荐
zxcvg的专栏
01-21 7万+
Flume-ng+Kafka+storm的学习笔记   Flume-ng Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。        Flume的文档可以看http://flume.apache.org/FlumeUserGuide.html 官方的英文文档 介绍
Windows环境下Flume-ng搭建与测试：Log4j日志流经Flume至HDFS
此文档详细介绍了如何在Windows上搭建Flume-ng环境，并通过Log4j生成的日志作为数据源，将这些日志数据流式传输到HDFS。" Flume-ng是Apache Hadoop的一个子项目，它主要用于日志管理和数据收集。在Windows环境中...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值