mongodb数据同步到es遇到的坑

工具

本项目使用mongodb集群，mongo-connector，ElasticSearch6， elasticsearch-head

起因

由于使用直接修改mongodb的collection的名字，使得mongo-connector不能自动同步到es当中。

操作

1.关闭mongo-connector

ps -ef | grep mongo-connector
kill -9 ${pid}

2.删除es中原有的索引

• 1.在动作中选择删除

  
  
  

  head删除索引

• 2在复合查询中删除

  
  
  

  head删除索引

3.重新创建索引

创建索引

4.删除mongo-connector 文件夹下oplog中时间戳，重启mongo-connector

cd /usr/local/mongo-connector
nohup mongo-connector -c config/mongo_es_config.json&>>mongo-es.log&

5.查看 mongo-connector 的日志文件

• 同步已删除的那个索引，是成功的
• 未删除的索引报 blocked by: [FORBIDDEN/12/index read-only / allow delete (api)];

解决办法

curl -XPUT -H "Content-Type: application/json" http://127.0.0.1:9200/_all/_settings -d '{"index.blocks.read_only_allow_delete": null}'

6.注意事项

• 1.一定要先创建索引，再开启mongo-connector进行同步数据
• 2.mongo-connector要删除oplog下的时间戳文件
• 3.es中创建索引时，provided_name属性要不为空，要不跟索引名一致
• 4.插件先引入在使用