大数据-日志-Flume
五柳-先生
宅边有五柳树,因以为号焉。
展开
-
Flume OG 介绍和配置
一、Flume介绍Flume是一个分布式、可靠、和高可用的海量日志聚合的系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。设计目标:(1) 可靠性当节点出现故障时,日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障,从强到弱依次分别为:end-to-end(收到数据agent首先转载 2013-12-14 12:52:47 · 1113 阅读 · 0 评论 -
flume 参考文档 (四)
Flume Sinks 1、Flume’s Collector Tier Event Sinks collectorSink( "fsdir","fsfileprefix",rollmillis)collectorSink,数据通过collector汇聚之后发送到hdfs, fsdir 是hdfs目录,fsfileprefix为文件前缀码转载 2013-12-14 13:03:25 · 701 阅读 · 0 评论 -
flume 参考文档 (三)
Flume Source 1、Flume’s Tiered Event SourcescollectorSource[(port)]Collector source,监听端口汇聚数据autoCollectorSource通过master协调物理节点自动汇聚数据logicalSource转载 2013-12-14 13:01:59 · 669 阅读 · 0 评论 -
flume 参考文档 (一)
Flume配置文件(flume-site.conf) 1、 watchdog watchdog.restarts.maxwatchdog每分钟重启的最大数??? 2、 common node flume.config.heartbeat.periodnode发送心跳周期,默认5000转载 2013-12-14 12:57:03 · 771 阅读 · 0 评论 -
flume ng 1.3 安装配置方法
业务系统需要收集监控系统日志,想到了hadoop的flume。经过试验,虽说功能不算足够强大,但基本上能够满足功能需求。Flume 是一个分布式、可靠和高可用的服务日志收集工具,能够和hadoop,hive等配置完成日志收集,存储,分析处理等工作,更详细的介绍可以参见apache网站。下面介绍下简单的安装配置方法1,网上下载flume-ng安装包,分别部署在收集和接收日志文件的服务器上,服转载 2013-12-14 14:19:28 · 775 阅读 · 0 评论 -
flume ng配置拓扑图
生产环境flume ng配置拓扑图。超级详细Please note, this document is forwarded from http://blog.csdn.net/xiaochawan/article/details/8986888转载 2013-12-14 14:38:58 · 932 阅读 · 0 评论 -
flume og 安装及配置
Flume安装 介绍Flume本身的安装比较简单(flume的介绍请参考http://blog.csdn.net/rzhzhz/article/details/7448633),安装前先说明几个概念,先看flume的架构1. Flume分三种角色 Mater: master负责配置及通信管理,是集群的控制器。 Collector: col转载 2013-12-14 14:20:36 · 880 阅读 · 0 评论 -
Cloudera Flume简介
Flume是Cloudera提供的日志收集系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。上图的Flume的Architecture,在Flume中,最重要的抽象是data flow(数据流),data flow转载 2013-12-14 14:19:57 · 971 阅读 · 0 评论 -
flume 参考文档 (二)
command shell(flume command) help帮助connect master:port登录masterconfig logicalnode source sink为逻辑节点配置一个source到sink的映射getnodestatus获得节点转载 2013-12-14 12:58:46 · 646 阅读 · 0 评论 -
Flume NG 简介及配置实战
Flume 作为 cloudera 开发的实时日志收集系统,受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG(original generation),属于 cloudera。但随着 FLume 功能的扩展,Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来,尤其是在 Flume OG 的最后一个发行版本 0.94.0 中,日志转载 2015-11-20 10:49:12 · 795 阅读 · 0 评论