flume
sniperken
这个作者很懒,什么都没留下…
展开
-
使用flume进行日志收集的总结(1)
由于最近几个月在搞一个实时监控平台的项目,用的是flume+kafka+spark,之前领导说弄个文档总结一下项目开发中的用到技术以及容易出错的地方,以供之后的新手们参考(其实我也才接触了几个月而已),现在才有时间弄文档,顺便也发个博客记录一下(处女篇),毕竟当初我也是不断在网上查资料的,希望这份资料对大家有用吧。 由于网上对于flume的简介很多,这里就不多做赘述了,直奔主题,原创 2016-09-09 11:34:50 · 1307 阅读 · 0 评论 -
使用flume进行日志收集的总结(2)
Sinks groups 和 Sink Processors Sink groups允许组织多个sink到一个实体上。 Sink processors能够提供在组内所有Sink之间实现负载均衡的能力,而且在失败的情况下能够进行故障转移从一个Sink到另一个Sink。 配置多个sink组成一个sinkgroup 并实现负载均衡 负载均衡(load b原创 2016-09-13 14:22:27 · 529 阅读 · 0 评论