首先ElasticSearch5和ElasticSearch7的主子表结构存储结构不一样,logstash本身就不支持主子表的数据同步,更何况跨版本了,只能自己用java程序写,利用rabbitMQ做中间数据的传输,设计思路如下
一 生产者有两个,一个是查主表的数据,一个是查子表的数据,分别插入parent-mq和child-mq,其中查子表的时候必须要把_routing查出来,这是用于关联父ID的重要字段
二 消费者同时也需要两个,一个是消费parent-mq,另一个消费child-mq,主要是在子表插入的时候记得join_字段和parent_id的插入,主表也需要插入join_字段的值为主表的type
三 启动消费者,启动生产者,插入es7中,数据自动会关联上,不分先后顺序,效率还可以
保存子表数据时的parentID需要赋值,这个对应es7建立索引时的join_字段
JoinField joinField = new JoinField();
joinField.setName("child");
joinField.setParent(rule.getParentId());
rule.setRelation_field(joinField);
service.add(rule,rule.getParentId());