Flume
文章平均质量分 88
xuguokun1986
这个作者很懒,什么都没留下…
展开
-
ua-parser-1.3.0下载失败
编译过程中,下载ua-parser-1.3.0.pom可能失败,出现如下错误:01[ERROR] Failed to execute goal on project flume-ng-morphline-solr-sink:02 Could not resolve dependencies for原创 2016-05-25 12:32:43 · 4123 阅读 · 0 评论 -
Flume-1.6.0部分源码解析
1、Flume的入口---Application.javaMain函数中的关键代码如下:EventBus eventBus = new EventBus(agentName + "-event-bus"); PollingPropertiesFileConfigurationProvider configurationProvider = new PollingProper原创 2016-05-26 19:28:38 · 537 阅读 · 1 评论 -
Flume-1.6.0部分源码分析续1
5、Source、Channel和Sink之间是靠什么联系在一起的呢?上述三者之间的联系主要是基于:Transaction类。Channel采用了Transaction(事务)机制来保证数据的完整性,这里的事务和数据库中的事务概念类似,但并不是完全一致,其语义可以参考下面这个图: source 产生Event,通过“put”、“commit”操作将Event放到Channel中原创 2016-06-01 10:54:24 · 601 阅读 · 0 评论 -
Flume(NG)架构设计要点及配置实践
Flume NG是一个分布式、可靠、可用的系统,它能够将不同数据源的海量日志数据进行高效收集、聚合、移动,最后存储到一个中心化数据存储系统中。由原来的Flume OG到现在的Flume NG,进行了架构重构,并且现在NG版本完全不兼容原来的OG版本。经过架构重构后,Flume NG更像是一个轻量的小工具,非常简单,容易适应各种方式日志收集,并支持failover和负载均衡。架构设计要点转载 2016-05-21 21:23:11 · 581 阅读 · 0 评论