flume跨机房数据传输

1、场景描述：
项目部署在异地机房，需要将mongo数据库同步到本地机房，由于本地mongo服务器端口不宜在公网上暴露，在两挤房间采用flume实现数据同步。


2、技术方案：

1)、异地机房通过扩展flume-source插件从mongodb的oplog集合中实时获取变更的操作记录，通过flume avro sink发送数据。

考虑到性能问题，使用批量时间处理_channel.processEventBatch(listEvent);

保存oplog的ts字段，保证程序宕机后可以从时间点以后读取。

2)、本地机房通过flume avro source接收数据，扩展flume-sink插件将数据插入到本地的mongodb.

3、重点概念：

oplog：oplog是capped collection，因为oplog的特点（不能太多把磁盘填满了，固定大小）需要，MongoDB才发明了capped collection（the oplog is actually the reason capped collections were invented）. oplog的位置 oplog在local库： master/slave 架构下 local.oplog.$main; replica sets 架构下： local.oplog.rs sharding 架构下，mongos下不能查看oplog，可到每一片去看。

备注：

启动命令：nohup flume-ng agent -n ms -c conf -f /opt/flume1.5.0/conf/mongo-source.conf -Dflume.root.logger=INFO,console &