MongoDB
bao_since
这个作者很懒,什么都没留下…
展开
-
kafka-connect-distribute 模式,使用 debezium source 同步 MongoDB 集群到 Kafka
从flink社区看到 MongoDB ->Debezium-> Kafka 作为 Flinkdatasource 的方案,试着搭了一套。MongoDB 使用副本+分片Debezium 作为 Kafka Connect 的插件,首先配置 Kafka Connect,选择的是 connect-distribute 模式,这里踩到了一个坑, 因为我的集群 java 版本还在 7...原创 2019-05-10 12:24:05 · 2524 阅读 · 2 评论 -
flink DataSet 连接 mongos集群使用mongo-hadoop
flink 官方示例比较简单,也很久没更新过了。mongos生产集群需要认证权限,按文档提示配置好规则,这里output到测试库,所以没配置太多这里是单线程读取,还不清楚可不可以通过配置实现并行读取。import com.mongodb.hadoop.MongoInputFormat;import com.mongodb.hadoop.MongoOutputFormat;impo...原创 2019-06-10 13:35:32 · 1613 阅读 · 1 评论