java查询es字段为空的数据_记一次ES查询数据突然变为空的问题

基本环境

elasticsearch版本：6.3.1

客户端环境：kibana 6.3.4、Java8应用程序模块。

其中kibana主要用于数据查询诊断和查阅日志，Java8为主要的客户端，数据插入和查询都是由Java实现的。

案例介绍

使用elasticsearch存储订单的主要信息，document内的field，基本上是long或keyword，创建索引的order.json文件如下：

{

"doc": {

"properties": {

"id": {

"type": "keyword",

"index": true

},

"status": {

"type": "byte",

"index": true

},

"createTime": {

"type": "long",

"index": true

},

"uid": {

"type": "long",

"index": true

},

"payment": {

"type": "keyword",

"index": true

},

"commentStatus": {

"type": "byte",

"index": true

},

"refundStatus": {

"type": "byte",

"index": true

}

}

}

}

某天发现有个查询功能(单独使用payment字段查询)没有数据出来，最近未修改此部分代码。对比研发环境，研发环境是正常的，同样的代码在测试环境下无数据返回。

问题定位

程序中使用该字段用的是termQuery，如下：

QueryBuilders.termQuery("payment", req.getFilter().getOrder().getPayment())

在kibana上用命令诊断查询数据，同样没有结果返回，查询命令如下：

GET /order/doc/_search

{

"query": {

"bool": {

"must": [

{"term": {

"payment": "Alipay"

}}

]

}

}

}

查询mapping信息，看是否为keyword：

GET /order/_mapping/doc

响应返回(只展示payment字段)：

{

"order": {

"mappings": {

"doc": {

"properties": {

"payment": {

"type": "text",

"fields": {

"keyword": {

"type": "keyword",

"ignore_above": 256

}

}

}

}

}

}

}

}

问题原因

按照mapping返回结果来看，字段payment原定义的类型是keyword，现在变成text了，这个是payment字段使用termQuery查询导致没有数据的原因。

text与keyword的区别

keyword对保存的内容不分词，也不改变大小写，原样存储，默认可索引。

text对内容进行分词，并且全部小写存储，同时会增加一个text.keyword字段，为keyword类型，超过256字符后不索引。

由于payment字段变成text了，原有的程序使用term查询，用的"Alipay"，而text存储的是"alipay"，所以查不到数据了。

尝试排错方法

payment的值改成小写

GET /order/doc/_search

{

"query": {

"bool": {

"must": [

{"term": {

"payment": "alipay"

}}

]

}

}

}

或将term查询改成match查询

GET /order/doc/_search

{

"query": {

"bool": {

"must": [

{

"match": {

"payment": "alipay"

}

}

]

}

}

}

查询有数据输出，并且符合预期，尝试方法有效。

问题追溯

明明order.json的对payment字段定义的类型是keyword，怎么变成text了？

由于出现此问题的环境是测试环境，有重删索引数据，然后再全部导入的操作(有点不规范，但仅限于测试环境，生产环境不会这么做)，重新导入索引document数据的功能，es创建索引自动mapping时，payment字段的string内容，会变成text。

解决办法：

1.删除索引

DELETE /order

2.按照order.json重建索引

PUT /order

{

"mappings": {

"doc": {

"properties": {

"id": {

"type": "keyword",

"index": true

},

"status": {

"type": "byte",

"index": true

},

"createTime": {

"type": "long",

"index": true

},

"uid": {

"type": "long",

"index": true

},

"payment": {

"type": "keyword",

"index": true

},

"commentStatus": {

"type": "byte",

"index": true

},

"refundStatus": {

"type": "byte",

"index": true

}

}

}

}

}

3.触发程序灌数据(也可以用bulk)

小结

问题虽小，但一定要追溯源头，比如此次测试环境的不规范操作。后期如果有删除索引的操作，应该先手动建立索引后，再灌数据，而不是直接让其自动mapping建立索引，自动mapping建立的字段类型，可能不是我们期望的。

专注Java高并发、分布式架构，更多技术干货分享与心得，请关注公众号：Java架构社区