- 博客(4)
- 收藏
- 关注
RSS订阅转载 KETTLE集群搭建
说明：本文档基于kettle5.4 一、集群的原理与优缺点1.1集群的原理 Kettle集群是由一个主carte服务器和多个从carte服务器组成的，类似于master-slave结构，不同的是’master’处理具体任务，只负责任务的分发和收集运行结果。Master carte结点收到请求后，把任务分成多个部分交给slave carte执行，slave执行完毕后把结果交给mat...
2018-04-25 11:07:00
506
原创 flume源码分析3--组件的启动
接上面，当获取到最新的配置文件后，触发监听方法重启组件：@Subscribepublic synchronized void handleConfigurationEvent(MaterializedConfiguration conf) { stopAllComponents(); startAllComponents(conf);}下面看startAllComponents方法：p...
2018-04-10 11:23:22
227
原创 flume源码分析2--配置文件的加载
上面提到Application启动的时候，PollingPropertiesFileConfigurationProvider作为唯一的LifecycleAware类型的组件被交给监护者LifecycleSupervisor去监护，在监护方法里面，会启动一个定时调度线程去维护PollingPropertiesFileConfigurationProvider的状态，比如PollingPropert...
2018-04-09 10:59:02
670
原创 flume源码分析1--启动
Flume的程序入口是org.apache.flume.node.Application#main进入后会先进行命令行参数的解析及核对，使用的组件是org.apache.commons.cli。还是很好用的。会从参数中获取isZkConfigured及reload两个参数，isZkConfigured是指是否使用zookeeper来存储flume任务的配置，reload是指当flume作业的配置改...
2018-04-04 14:57:46
420
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人