Apache Flume 分布式日志收集系统学习

原创 2016年06月01日 20:28:49

初步学习Apache Flume ,从两个方面总结。

第一方面:Apache Flume 有两个版本 Flume 0.9x和 Flume NG(new generation),Flume NG是对传统的Apache Flume的精简,去掉了 Master 和Collector两种角色,只保留了Agent 一种角色。数据流(Data Flow)描述了日志数据从产生,传输,处理到最后写入目的地的路径,它是 Flume 的最抽象模型。



Flume 数据流模型


第二方面:为了有效的手机日志,系统实施时候需要在每个手机日志的服务器上安装相同版本的  Flume NG ,由于不同的网站选取的Web  server不同,为了对数据有效的收集,需要对每类设定一个或者多个 Agent,对收集的不同数据进行不同的处理。


基于 Flume 的日志数据收集流程


版权声明:本文为博主原创文章,未经博主允许不得转载。

分布式日志收集系统Apache Flume的设计介绍

Flume是Cloudera公司的一款高性能、高可能的分布式日志收集系统。现在已经是Apache Top项目。Github地址。同Flume相似的日志收集系统还有Facebook Scribe,Apa...
  • zbf8441372
  • zbf8441372
  • 2014年01月12日 22:30
  • 19794

分布式日志收集系统:Flume

Flume知识点:Event 是一行一行的数据 1.flume是分布式的日志收集系统,把收集来的数据传送到目的地去。 2.flume里面有个核心概念,叫做agent。agent是一个java进程...
  • u013067629
  • u013067629
  • 2015年05月30日 18:37
  • 2376

分布式日志收集收集系统:Flume(转)

http://www.geekbus.cn/flume-a-distributed-log-collecting-system/ 大数据 Killua 7个月前 (08-15) 1248浏览 ...
  • javastart
  • javastart
  • 2015年03月01日 07:04
  • 3690

分布式日志收集收集系统:Flume

Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。Fl...
  • u010064842
  • u010064842
  • 2016年06月14日 13:17
  • 2313

分布式日志收集系统- Cloudera Flume 介绍

Flume是Cloudera提供的日志收集系统,具有分布式、高可靠、高可用性等特点,对海量日志采集、聚合和传输, Flume支持在日志系统中定制各类数据发送方, 同时,Flume提供对数据进行简单处理...
  • hljlzc2007
  • hljlzc2007
  • 2013年12月19日 10:33
  • 7599

flume (日志收集系统) 基础概念

Flume是一个分布式、可靠、和高可用的海量日志聚合的系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。...
  • ronmy
  • ronmy
  • 2017年03月05日 14:45
  • 1282

flume日志收集系统

flume日志收集系统 概述 Flume是一个分布式的、可靠的、高可用的海量日志采集系统。它能够将不同数据源的海量日志数据进行高效收集、聚合、移动,最后存储到一个中心化数据存储系统中。能够做到实...
  • ty_laurel
  • ty_laurel
  • 2016年12月18日 15:31
  • 659

Flume Kafka收集Docker容器内分布式日志应用实践

1 背景和问题 随着云计算、PaaS平台的普及,虚拟化、容器化等技术的应用,例如Docker等技术,越来越多的服务会部署在云端。通常,我们需要需要获取日志,来进行监控、分析、预测、统计等工作,但是云...
  • u011537073
  • u011537073
  • 2017年04月21日 21:11
  • 887

分布式flume日志收集系统

1.架构图,摘自flume官网 2.这里我们用两个agent收集,然后输入到一个agent去,落到HDSF上 3.参考配置文件source 采用exec方式代替,在两台机器上部署 a1.sou...
  • qq_22222499
  • qq_22222499
  • 2018年01月02日 17:27
  • 32

使用flume进行日志收集的总结(1)

由于最近几个月在搞一个实时监控平台的项目,用的是flume+kafka+spark,之前领导说弄个文档总结一下项目开发中的用到技术以及容易出错的地方,以供之后的新手们参考(其实我也才接触了几个月而已)...
  • sniperken
  • sniperken
  • 2016年09月09日 11:34
  • 353
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Apache Flume 分布式日志收集系统学习
举报原因:
原因补充:

(最多只允许输入30个字)