Flume
文章平均质量分 88
微步229
这个作者很懒,什么都没留下…
展开
-
基于Flume的美团日志收集系统(一)架构和设计
问题导读:1.Flume-NG与Scribe对比,Flume-NG的优势在什么地方?2.架构设计考虑需要考虑什么问题?3.Agent死机该如何解决?4.Collector死机是否会有影响?5.Flume-NG可靠性(reliability)方面做了哪些措施?美团的日志收集系统负责美团的所有业务日志的收集,并分别给Hadoop平台提供离线数据和Storm平台提供实时数据流。美团的日志收集系统基于Fl...转载 2018-05-30 10:19:34 · 421 阅读 · 0 评论 -
基于Flume的美团日志收集系统(二)改进和优化
问题导读:1.Flume的存在些什么问题?2.基于开源的Flume美团增加了哪些功能?3.Flume系统如何调优?在《基于Flume的美团日志收集系统(一)架构和设计》中,我们详述了基于Flume的美团日志收集系统的架构设计,以及为什么做这样的设计。在本节中,我们将会讲述在实际部署和使用过程中遇到的问题,对Flume的功能改进和对系统做的优化。1 Flume的问题总结在Flume的使用过程中,遇到...转载 2018-05-30 10:20:43 · 207 阅读 · 0 评论 -
Flume Avro配置
一、Flume avro架构模型二、配置(1) agent foo 配置(配置文件名:log2Avrosink.conf )#Name the components on this agenta1.sources=srcLoga1.channels=chMemorya1.sinks=avroSink#source配置a1.sources.srcLog.type = TAILDIR ...原创 2018-06-20 09:56:30 · 3109 阅读 · 0 评论