Apache Flume 分布式日志收集系统学习

原创 2016年06月01日 20:28:49

初步学习Apache Flume ,从两个方面总结。

第一方面:Apache Flume 有两个版本 Flume 0.9x和 Flume NG(new generation),Flume NG是对传统的Apache Flume的精简,去掉了 Master 和Collector两种角色,只保留了Agent 一种角色。数据流(Data Flow)描述了日志数据从产生,传输,处理到最后写入目的地的路径,它是 Flume 的最抽象模型。



Flume 数据流模型


第二方面:为了有效的手机日志,系统实施时候需要在每个手机日志的服务器上安装相同版本的  Flume NG ,由于不同的网站选取的Web  server不同,为了对数据有效的收集,需要对每类设定一个或者多个 Agent,对收集的不同数据进行不同的处理。


基于 Flume 的日志数据收集流程


版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

分布式日志收集系统Apache Flume的设计介绍

Flume是Cloudera公司的一款高性能、高可能的分布式日志收集系统。现在已经是Apache Top项目。Github地址。同Flume相似的日志收集系统还有Facebook Scribe,Apa...

分布式日志收集系统Apache Flume的设计详细介绍

问题导读: 1.Flume传输的数据的基本单位是是什么? 2.Event是什么,流向是怎么样的? 3.Source:完成对日志数据的收集,分成什么打入Channel中? 4.Channel...

分布式日志收集系统Apache Flume的设计介绍

概述 Flume是Cloudera公司的一款高性能、高可能的分布式日志收集系统。现在已经是Apache Top项目。Github地址。同Flume相似的日志收集系统还有Facebook Scri...

分布式日志收集系统Apache Flume的设计介绍

概述 Flume是Cloudera公司的一款高性能、高可能的分布式日志收集系统。现在已经是Apache Top项目。Github地址。同Flume相似的日志收集系统还有Facebook Scribe...
  • elf8848
  • elf8848
  • 2014年10月09日 10:57
  • 450

分布式日志收集系统- Cloudera Flume 介绍

Flume是Cloudera提供的日志收集系统,具有分布式、高可靠、高可用性等特点,对海量日志采集、聚合和传输, Flume支持在日志系统中定制各类数据发送方, 同时,Flume提供对数据进行简单处理...

分布式日志收集系统:Flume

Flume知识点:Event 是一行一行的数据 1.flume是分布式的日志收集系统,把收集来的数据传送到目的地去。 2.flume里面有个核心概念,叫做agent。agent是一个java进程...

flume分布式日志收集系统操作

1.flume是分布式的日志收集系统,把收集来的数据传送到目的地去。 2.flume里面有个核心概念,叫做agent。agent是一个java进程,运行在日志收集节点。 3.agent里面包含3个核心...

Apache Flume日志收集系统简介

Apache Flume是一个分布式、可靠、可用的系统,用于从大量不同的源有效地收集、聚合、移动大量日志数据进行集中式数据存储。   Flume简介 Flume的核心是Agent,A...

分布式日志收集收集系统:Flume(转)

http://www.geekbus.cn/flume-a-distributed-log-collecting-system/ 大数据 Killua 7个月前 (08-15) 1248浏览 ...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Apache Flume 分布式日志收集系统学习
举报原因:
原因补充:

(最多只允许输入30个字)