elasticsearch 一个索引多个type关联查询_使用 Logstash 同步多个数据表到 Elasticsearch 同一个索引（Index）...

最新推荐文章于 2022-11-19 22:48:10 发布

12669821881

最新推荐文章于 2022-11-19 22:48:10 发布

阅读量608

点赞数

文章标签： elasticsearch 一个索引多个type关联查询

本文链接：https://blog.csdn.net/weixin_31567239/article/details/112107554

版权

最近使用了 ELK 做搜索，出报表，由于我们的业务数据很多，汇总起来有近 200 个字段，刚开始写了一个庞大的视图通过 Logstash 同步到 Elasticsearch，但是遇到了很多问题：

1、由于聚合了很多表，不确定主表和其他表的对应关系，导致实际的数据量有误；

2、实际上视图就是一个效率低下的关联查询，所以每次同步数据，数据库的压力比较大；

3、有的数据其实更新频率并不是很高，但是在查询的时候还是需要占用数据库资源，不合理；

基于以上问题，想到基于更新频率和数据边界划分视图，通过 Logstash 同步到 Elasticsearch 的同一个 Index，几个关键点：

1、每个视图都必须有一个相同字段对应 ES 索引的 document id，也就是 Document ID 要一致；

2、每个视图都必须有一个自己的更新 trackingcolum，不可以和其他视图有相同的 tracking_column;

3、Logstash Elasticsearch Output 设置

index => "index" // 必须相同
document_id => "%{id}" // 必须相同
doc_as_upsert => true // 设置如果 document_id 不存在则创建
action => "update" // 设置同步方式是更新

这样就可以实现多个数据源，同步到一个 ES 索引，上面我是用的是数据源是 Mysql，JDBC Input，理论上可以换成其他任何数据源，只要保持这个原则即可

关注