其它技术学习
阿赖耶识_
折腾了四年,仍然是初学者
展开
-
淘宝DataX 数据交换机制学习总结
DataX是淘宝的数据同步工具,工作流程大概就是用Reader模块从源数据库读数据,在Storage模块里将Reader模块读到的数据交换给Write模块,Write模块将数据写进目的数据库。 整套工具是JAVA开发的。C++出身的对JAVA语法细节不熟悉,结合网络资料和项目源码注释,梳理一下Storage模块的逻辑流程。 DoubleQueue: 设立两块空间,一个存储源数据,原创 2015-11-27 10:00:21 · 3224 阅读 · 0 评论 -
Flume-NG 日志文件收集 简单实例
公司计划部署Flume日志采集系统,所以简单学习了一下相关的配置和使用。主要在自己的虚拟机上测试验证。 虚拟机是CentOS6.7系统,Flume1.6.0。Flume安装很简单,下载官方软件包,解压,配置环境变量,注意需要JDK1.6以上版本支持。 下面使用Flume实现简单的日志收集功能:将loga目录下新产生的日志文件自动收集到logb目录 配置文件test.conf 主要配置原创 2015-12-01 17:13:40 · 3862 阅读 · 1 评论