![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flume
小狼躲藏
专注于数据仓库、治理、数据分析领域
展开
-
flume ng 和flume og的区别
摘自: http://blog.csdn.net/rzhzhz/article/details/8778266 Flume OG:Flume original generation 即Flume 0.9.x版本 Flume NG:Flume next generation ,即Flume 1.x版本 对于Flume OG ,可以说他是一个分布式日志收集系统,有Ma转载 2014-03-13 05:04:47 · 2060 阅读 · 0 评论 -
flume的原理和使用
摘自:http://www.superwu.cn/2013/12/04/870/ 概述 flume是cloudera公司的一款高性能、高可能的分布式日志收集系统。 flume的核心是把数据从数据源收集过来,再送到目的地。为了保证输送一定成功,在送到目的地之前,会先缓存数据,待数据真正到达目的地后,删除自己缓存的数据。 flume传输的数据的基本转载 2014-03-13 05:07:23 · 897 阅读 · 0 评论 -
使用flume搜集服务器log到hdfs
将多个logs服务器上的log搜集到hdfs服务器上,多个logs服务上的flume-sink和hdfs服务器上的flume-source都是avro类型,hdfs服务器上的flume-sink是hdfs类型 Flume部署文档 系统要求: Java 运行时环境 部署方式: 在logs和hdfs服务器上下载并解压flume包 下载flume包并解压: htt转载 2014-05-07 18:47:10 · 605 阅读 · 0 评论