Flume学习笔记
主要记录一些Flume的使用方法
尼克不可
有事联系qq1439952134
展开
-
Flume自定义Sink根据日志信息拆分日志成不同的Topic发送到Kafka中
前言:最近因为疫情的原因嘛,就被一直关在了家里,也就有了大把的时间可以搞自己的事情,反正闲着也是闲着,就在家里在做一个项目,这个项目就是一个推荐系统,(后面我应该会专门来写一些博客来记录这一次的这个项目经历),在这个项目中呢有一个环节就是需要对HttpServer端产生的日志进行实时采集,然后再通过Spark 进行实时计算分析,关于日志的采集在本专题的前一篇文章中已经提到了,那样虽然也能把日志...原创 2020-04-19 18:37:08 · 1670 阅读 · 0 评论 -
Flume收集根据时间滚动的日志集合到Kafka中去
1. flume是个什么东西正如上面看到的Logo这样,他就是我们古时候由于交通并不发达,我们在一条河流的上游砍了很多的巨木(注意是又多又重),这么多笨重的木头我们不可能靠人力将他们运送到指定的地方吧,用交通工具又不现实(你想丛林中这么多树,你的交通工具怎么在这里面开展开来),所以聪明的古人就想到了一个法子,既然是木头,它还可以浮在水面上,何不直接把砍下来的树丢进河里,随着水流顺势而下...原创 2020-04-18 16:14:21 · 755 阅读 · 0 评论