![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flume
weizhouck
学无止境,乐此不疲
展开
-
Flume日志采集框架(1)
Flume 介绍1:概述Flume 是 Cloudera 提供的一个分布式、高可靠、和高可用的海量日志采集、聚合和传输系统。Flume 可以采集文件,socket 数据包、文件夹等各种形式源数据,又可以将采集到的数据输出到 HDFS、hbase、hive、kafka 等众多外部存储系统中。一般的采集需求,通过对 flume 的简单配置即可实现。Flume 针对特殊场景也具备良好...原创 2018-11-03 17:16:39 · 199 阅读 · 0 评论 -
Flume 常见案例(2)
Flume 采集案例1:采集目录到 HDFS采集需求:某服务器的某特定目录下,会不断产生新的文件,每当有新文件出现,就需要把文件采集到 HDFS 中去。采集源,即 source -- 监控文件目录 : spooldir下沉目标,即 sink --HDFS文件系统 :HDFS sinksource 和 sink 之间的传递通道 -- channel , 可用 file chan...原创 2018-11-07 16:49:01 · 226 阅读 · 0 评论