elasticsearch数组类型建立索引的一种应用场景

在处理Elasticsearch中数组类型的索引时,遇到数据模型限制,无法直接使用bulk+prepareIndex方式。当数据来自关系型数据库并被打散,且字段无序时,常规更新方法会导致数组值被覆盖。通过partial-update的setDoc+upsert方式不适用于多数组字段的情况。最终,通过Groovy脚本配合update操作解决了问题,先将ID存入索引中一个不可被索引的字段,再进行批量更新。
摘要由CSDN通过智能技术生成

elasticsearch有各种core-type,另外还有各种复杂结构,比如nested,child-parent等。

array是一种常用的类型。在es中array是默认支持的,并不存在单独的一个type=array。当你插入数据带有“[]”的时候,这个field就成为array。

一般建立索引是采用bulk+prepareindex的方式完成的,检索出需要建立索引的数据,然后index。数组的话就带上方括号。很方面。

但是现实项目中由于各种数据模型的限制并不能直接运用上面简易的方式进行。下面是一种应用场景:

1:一行关系型数据库中的数据被打散了,各个field知道属于那一个id(显然这个id不能由es自动生成,而是规定好的)

2:一行数据也不是顺序过来的,字段也是无序过来的。

3:可以从一张单独的表中获取所有id。

现在要把以前的一行记录完整的索引起来,es中的id就采用1中描述的id,各字段作为es的field。


显然最简单的索引方法不适用与这个应用场景,但是采用bulk的方式是肯定的,要不然效率太低。

首先想到的是es提供的partital-update的方法,用setDoc+upsert来实现,看起来没什么问题,但是如果是array类型,问题出现了:

The update API also support pa

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值