flume
maketubu7
这个作者很懒,什么都没留下…
展开
-
flume导入日志数据之hive分区
1、环境配置,截图如下2、我们知道sink-hive官网上有一个分区的示例,我们看一下但是这个示例我没有看懂什么意思,所以作为小白的我,开始了另一种分区的方式2.1首先我们看看我们需要分区的日志文件的格式"27.38.5.159" "-" "31/Aug/2015:00:04:37 +0800" "GET /course/view.php?id=27 HTTP/1.1" "303" "440&quo原创 2018-06-29 18:43:34 · 4548 阅读 · 1 评论 -
flume 之监视日志数据抽出到hdfs上示例
今天学习了一个新的轻量级框架,就是一个的实时日志收集系统,由cloudera公司开发的框架下面贴上代码##对log的完成数据,进行数据抽取,并对文件夹下所有文件进行实时监视###define agenta3.sources = r3a3.channels = c3a3.sinks = k3#define sourcesa3.sources.r3.type = spooldira3...原创 2018-06-30 09:41:24 · 671 阅读 · 0 评论