Linux下Monstache 6.X安装配置(图文详细)
一、资源准备
- 资源下载地址: https://github.com/rwynn/monstache
二、Monstache说明
Monstache-Mongodb-Es 版本关系:
Monstache version | Git branch (used to build plugin) | Docker tag | Description | Elasticsearch | MongoDB |
---|---|---|---|---|---|
3 | rel3 | rel3 | mgo community go driver | Versions 2 and 5 | Version 3 |
4 | master | rel4 (note this used to be latest) | mgo community go driver | Version 6 | Version 3 |
5 | rel5 | rel5 | MongoDB, Inc. go driver | Version 6 | Version 4 |
6 | rel6 | rel6, latest | MongoDB, Inc. go driver | Version 7 | Version 4 |
Monstache配置
参数 | 说明 |
---|---|
mongo-url | MongoDB实例的主节点访问地址。详情请参见。mongo-url |
elasticsearch-urls | Elasticsearch的访问地址。详情请参见 elasticsearch-urls |
direct-read-namespaces | 指定待同步的集合,详情请参见direct-read-namespaces。 |
change-stream-namespaces | 如果要使用MongoDB变更流功能,需要指定此参数。启用此参数后,oplog追踪会被设置为无效,详情请参见change-stream-namespaces。 |
namespace-regex | 通过正则表达式指定需要监听的集合。此设置可以用来监控符合正则表达式的集合中数据的变化。 |
elasticsearch-user | 访问Elasticsearch的用户名。 |
elasticsearch-password | 访问Elasticsearch的用户密码。 |
elasticsearch-max-conns | 定义连接ES的线程数。默认为4,即使用4个Go线程同时将数据同步到ES。 |
dropped-collections | 默认为true,表示当删除MongoDB集合时,会同时删除ES中对应的索引。 |
dropped-databases | 默认为true,表示当删除MongoDB数据库时,会同时删除ES中对应的索引。 |
resume | 默认为false。设置为true,Monstache会将已成功同步到ES的MongoDB操作的时间戳写入monstache.monstache集合中。当Monstache因为意外停止时,可通过该时间戳恢复同步任务,避免数据丢失。如果指定了clus |