- 博客(3)
- 收藏
- 关注
RSS订阅原创 Flume-NG 日志文件收集 简单实例
公司计划部署Flume日志采集系统，所以简单学习了一下相关的配置和使用。主要在自己的虚拟机上测试验证。虚拟机是CentOS6.7系统，Flume1.6.0。Flume安装很简单，下载官方软件包，解压，配置环境变量，注意需要JDK1.6以上版本支持。下面使用Flume实现简单的日志收集功能：将loga目录下新产生的日志文件自动收集到logb目录配置文件test.conf 主要配置
2015-12-01 17:13:40
3862
1
原创 淘宝DataX 数据交换机制学习总结
DataX是淘宝的数据同步工具，工作流程大概就是用Reader模块从源数据库读数据，在Storage模块里将Reader模块读到的数据交换给Write模块，Write模块将数据写进目的数据库。整套工具是JAVA开发的。C++出身的对JAVA语法细节不熟悉，结合网络资料和项目源码注释，梳理一下Storage模块的逻辑流程。DoubleQueue：设立两块空间，一个存储源数据，
2015-11-27 10:00:21
3224
原创 完成端口 GetQueuedCompletionStatus 异常处理
公司的校园平安卡产品，C/S结构，客户端数目大概50个，服务端采用IOCP（完成端口）与客户端通信，Socket UDP协议。服务端程序基本流程： 1.程序建立IOCP模型并绑定Socket，用WSARecvFrom 向IOCP通道中投递数据接收请求 2.Work线程，整体是循环：使用GetQueuedCompletionStatus获取通道中已经完成的请求和数据，然后有一个判断：
2015-11-25 14:50:15
3535
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人