![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flume
weixin_41734687
这个作者很懒,什么都没留下…
展开
-
flume 安装及应用
1. 日志采集框架Flume 1.1 Flume介绍 1.1.1 概述 Flume是一个数据搬运工,侧重于数据的搬运,而不是数据处理 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 Flume可以采集文件,socket数据包等各种形式源数据,又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中 一般的采集需求,通过对flume的简单配...原创 2018-11-11 00:03:46 · 568 阅读 · 0 评论 -
Flume中的HDFS Sink配置参数说明
完全引用原文原文 channel type hdfs path 写入hdfs的路径,需要包含文件系统标识,比如hdfs://namenode/flume/webdata/ 可以使用flume提供的日期及%{host}表达式。 filePrefix 默认值:FlumeData 写入hdfs的文件名前缀,可以使用flume提供的日期及%{host}表达式。 fileSuffix 写...原创 2018-11-13 23:03:16 · 104 阅读 · 0 评论