ElasticSearch5 升级到 ElasticSearch7 主子表结构索引迁移的解决方案

首先ElasticSearch5和ElasticSearch7的主子表结构存储结构不一样,logstash本身就不支持主子表的数据同步,更何况跨版本了,只能自己用java程序写,利用rabbitMQ做中间数据的传输,设计思路如下

一 生产者有两个,一个是查主表的数据,一个是查子表的数据,分别插入parent-mq和child-mq,其中查子表的时候必须要把_routing查出来,这是用于关联父ID的重要字段

二 消费者同时也需要两个,一个是消费parent-mq,另一个消费child-mq,主要是在子表插入的时候记得join_字段和parent_id的插入,主表也需要插入join_字段的值为主表的type

三 启动消费者,启动生产者,插入es7中,数据自动会关联上,不分先后顺序,效率还可以

 

保存子表数据时的parentID需要赋值,这个对应es7建立索引时的join_字段

                JoinField joinField = new JoinField();
                joinField.setName("child");
                joinField.setParent(rule.getParentId());
                rule.setRelation_field(joinField);
                service.add(rule,rule.getParentId());

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值