![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flume
文章平均质量分 52
caodaoxi
这个作者很懒,什么都没留下…
展开
-
Flume分布式日志系统(三)
flume提供了flume shell方式来管理,非常强大。1. 连接可以使用 “flume shell”进入flume命令行环境,“connect”命令可以用来连接任何的flume的master服务器。[root@test01] ~0 $ flume shell[flume (disconnected)] connect test01.linuxjcq.com:35873转载 2013-05-20 21:24:56 · 1020 阅读 · 0 评论 -
Flume的优化
ETL(Extraction, Transformation, and Load)是基于日志数据挖掘中的重要环节。现在Hadoop用于日志ETL的工具主要有Facebook的Scribe,Apache的Chukwa和Cloudera的Flume等等。从容错性、负载均衡和可扩展性上考虑,我们最后选择了Flume作为我们的日志ETL工具。Flume是Cloudera提供的非常优秀的日志ETL工具。转载 2013-05-20 22:33:12 · 703 阅读 · 0 评论 -
Flume日志收集
一、Flume介绍Flume是一个分布式、可靠、和高可用的海量日志聚合的系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。设计目标:(1) 可靠性当节点出现故障时,日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障,从强到弱依次分别为:end-to-end(收到数据agent首先转载 2013-05-20 22:59:17 · 607 阅读 · 0 评论 -
flume ng编译问题解决
在编译flume ng的时候出现不能找到flume-ng-log4jappender的问题:[ERROR] Failed to execute goal org.apache.maven.plugins:maven-remote-resources-plugin:1.1:process (default) on project flume-ng-dist: Failed to resolve原创 2013-11-25 10:41:32 · 1146 阅读 · 0 评论 -
flume监控指标详解
原创 2014-05-15 17:39:32 · 3202 阅读 · 0 评论