ES查询文本字段为空字符串的数据，排查数据问题

最新推荐文章于 2024-07-17 17:19:25 发布
最新推荐文章于 2024-07-17 17:19:25 发布
阅读量4.8k 收藏 2
点赞数 2
分类专栏： Elasticsearch 文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/TinyNasubi/article/details/108315121
版权

在处理用户表的时候，发现用户名称少于用户总数，而且没有null值，
查询发现：用户表出现有用户名为空字符串的数据，即使用空字符串("")查询，能够匹配到数据;
排查清洗代码，并没有发现空字符串从何而来

查询计数语句

GET user_info_index/_doc/_count
{
   
  "query": {
   
    "bool": {
   
      "must": [
        {
   
          "term": {
   
            "user_name.keyword": {
   
              "value": ""
            }
          }
        }
      ]
    }
  }
}

查询计数结果


                

                
                
        

        

    




        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  TinyNasubi
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                    2
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    2
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
ES查找空字符串——非keyword字段

				
			

			

				

					weixin_40966434的博客
				

				

					06-12
					
					1069
					
				

			

		

		

			
				
ES查找空字符串——非keyword字段非keyword字段查找空字符串原理
非keyword字段查找空字符串
对于ES表，网上有一大堆的代码告诉我们怎么去查keyword字段是否为空。而我面临的问题是非keyword字段怎么查？查询语句实现如下：
{
	"query": {
		"bool": {
			"must_not": [
				{
					"wildcard": {
						"xxxxx": {
							"value": "*"
						}
					}
				}
			]


			
		

	



                

              
                



	

		

			

				
					
java查询es字段为空的数据_记一次ES查询数据突然变为空的问题

				
			

			

				

					weixin_34861332的博客
				

				

					02-28
					
					1701
					
				

			

		

		

			
				
基本环境elasticsearch版本：6.3.1客户端环境：kibana 6.3.4、Java8应用程序模块。其中kibana主要用于数据查询诊断和查阅日志，Java8为主要的客户端，数据插入和查询都是由Java实现的。案例介绍使用elasticsearch存储订单的主要信息，document内的field，基本上是long或keyword，创建索引的order.json文件如下：{"doc":...

			
		

	



                


  
              

                


	

		

			

				
					
ElasticSearch 查询为空的字符串

				
			

			

				

					不要忘记当初的目标的博客
				

				

					03-28
					
					1万+
					
				

			

		

		

			
				
#ElasticSearch 最近在做功能的时候，碰到字符串为空的情况，使用exists没有办法过滤这种数据，再次记录一下，直接上代码
es中记录数据
"_index": "yt_evaluate_user",
"_type": "evaluate_user_label",
"_id": "AWl24HQmN4aMV7d2lfcZ",
"_score": 1,
"_source": {
	"pla...

			
		

	





	

		

			

				
					
es常用查询语句：查空串，使用must，must_not, 范围查询，term查询

				
			

			

				

					健康平安的活着的专栏
				

				

					04-01
					
					1万+
					
				

			

		

		

			
				
一.单词查询
{
 "query": {
  "term": {
   "orderNo": "436476007342420270"
  }
 }
}

二.查询存在的数据

{
 "query": {
  "bool": {
   "must": [
    {
     "exists": {
      "field": "sex...

			
		

	



		

			
		



	

		

			

				
					
es 判断空字符串字段 ，null 值

				
			

			

				

					weixin_44583135的博客
				

				

					11-05
					
					2193
					
				

			

		

		

			
				
package com.xx.utils;

import com.alibaba.fastjson.JSON;
import com.alibaba.fastjson.JSONArray;
import com.gtcom.config.RestClientConfig;
import lombok.extern.slf4j.Slf4j;
import org.elasticsearch.action.bulk.BulkItemResponse;
import org.elasticsearch.acti

			
		

	





	

		

			

				
					
C#中，Elasticsearch.Net判断空字符串

				
			

			

				

					willgon的专栏
				

				

					03-02
					
					614
					
				

			

		

		

			
				
C#中，Elasticsearch.Net判断空字符串

			
		

	





	

		

			

				
					
ES空字符串和null值查询

				
			

			

				

					xinqiku的博客
				

				

					05-24
					
					6704
					
				

			

		

		

			
				
1. **不是""也不是null**

{
 "query": {在这里插入代码片
  "bool": {
   "must": [
    {
     "bool": {
      "must_not": {
       "term": {
        "id": ""
       }
      },
      "must": {
       "exists"...

			
		

	





	

		

			

				
					
elasticsearch代码中如何处理搜索匹配空字符串""

				
			

			

				

					weixin_42240930的博客
				

				

					01-10
					
					6975
					
				

			

		

		

			
				
使用java代码搜索ES直接匹配""并不能匹配到空字符串，如：


			BoolQueryBuilder mustNot = QueryBuilders.boolQuery()
					.must(QueryBuilders.existsQuery("desc"))
					.mustNot(QueryBuilders.termQuery("desc", ""))
					.mustNot...

			
		

	





	

		

			

				
					
go-geolastic:将 geonames 的 csv 数据导入 ElasticSearch

				
			

			

				

					06-29
				

			

		

		

			
				
2. **映射定义**：Elasticsearch的映射是其字段的数据类型和索引设置。在导入数据前，需要根据geonames的CSV字段定义合适的映射。这有助于优化搜索性能并确保数据正确性。  3. **批量导入**：为了提高效率，Elastic...

			
		

	





	

		

			

				
					
Elasticsearch核心知识篇+高手进阶篇

				
			

			

				

					09-01
				

			

		

		

			
				
1. **分布式架构**：Elasticsearch设计为分布式系统，可以自动在多个节点间分发数据，提供冗余和故障恢复能力。每个节点都可以存储、索引和搜索数据，增强了系统的健壮性和性能。  2. **倒排索引**：Lucene的核心是...

			
		

	





	

		

			

				
					
数据插入监控 p6spy

				
			

			

				

					05-02
				

			

		

		

			
				
它还可以与其他工具结合使用，如Logstash、ELK Stack（Elasticsearch、Logstash、Kibana），进行实时的日志分析和可视化，进一步提升监控和故障排查的效率。  总之，P6Spy是一个强大的数据库监控工具，适用于各种...

			
		

	





	

		

			

				
					
浅谈Node框架接入ELK实践总结

				
			

			

				

					10-17
				

			

		

		

			
				
3. **ES索引模板定义**：为了更好地存储和检索日志，需要在Elasticsearch中定义索引模板，明确JSON数据如何映射到索引字段。这有助于优化搜索性能和数据结构。  在具体实践中，日志结构设计是提升日志分析效率的关键...

			
		

	





	

		

			

				
					
Laravel开发-elasticquent 

				
			

			

				

					08-28
				

			

		

		

			
				
`search()`方法接受一个字符串或数组参数，返回匹配查询的模型实例集合。Elasticquent还支持过滤、排序、分页等功能，使得数据检索更加灵活。  8. **性能优化**: 考虑到Elasticsearch和数据库之间的交互可能影响性能...

			
		

	





	

		

			

				
					
JAVA ES 数组字段同时查询出为空的和符合其中某几个值的数据

				
			

			

				

					dingqi666的博客
				

				

					03-25
					
					1427
					
				

			

		

		

			
				
问题描述
最近遇到一个问题，ES中有一个客户标签字段是[1,2,3]这样存储的。产品想同时查询标签为空的和勾选某几个标签的展示出来。

原因分析：
正常对同一个字段既查空，又根据数组用must查询不好使。大概思路是用两个QueryBuilder，各自must，最后用同一个QueryBuilder两次should。并且还要设置minimumShouldMatch(1)
解决方案：

如果同时解决了您的业务问题，给个双击😘

...

			
		

	





	

		

			

				
					
elasticsearch过滤空字符串并加一些需求

				
			

			

				

					banqishuan2276的博客
				

				

					09-18
					
					702
					
				

			

		

		

			
				
{"query":{"constant_score":{"filter":{"bool":{"must_not":{"bool":{"must_not":[...

			
		

	





	

		

			

				
					
ES系列11：Term-level queries 之 3种模糊查询和terms_set query

				
			

			

				

					From Zero To Hero
				

				

					05-27
					
					2907
					
				

			

		

		

			
				
点击上方“方才编程”，即可关注我！带着问题学习才高效1、wildcardquery、prefix query、fuzzy query 这3种模糊查询的异同点是什么？2、如何使用 te...

			
		

	





	

		

			

				
					
复盘一个Elasticsearch排序问题的剖析

				
			

			

				

					三劫散仙
				

				

					07-15
					
					3205
					
				

			

		

		

			
				
最近线上的es查询的某个微服务接口，报了一个异常，如下：


nested: SearchParseException[No mapping found for [count] in order to sort on];
Caused by: SearchParseException[failed to parse search source 


直接从异常上看，可以得到是因为mapping里面...

			
		

	





	

		

			

				
					
ES中如何实现空值和非空值的查询

					
热门推荐

				
			

			

				

					弹指天下
				

				

					08-03
					
					1万+
					
				

			

		

		

			
				
ES中如何实现空值和非空值的查询

			
		

	





	

		

			

				
					
Elasticsearch基础（三）

					
最新发布

				
			

			

				

					weixin_68441705的博客
				

				

					07-17
					
					1009
					
				

			

		

		

			
				
查询的DSL是一个大的JSON对象，包含下列属性：query：查询条件from和size：分页条件sort：排序条件highlight：高亮条件。

			
		

	





	

		

			

				
					
es查询字段为空的数据

				
			

			

				

					09-17
				

			

		

		

			
				
ES是一款强大的分布式搜索和分析引擎，可以用于高效地存储、搜索和分析大量的结构化和非结构化数据。要查询字段为空的数据，可以使用ES的查询语法和过滤器来实现。

在ES中，我们可以使用“missing”查询来找出字段为空的数据。示例如下：

```
GET /index_name/_search
{
  "query": {
    "bool": {
      "must_not": {
        "exists": {
          "field": "field_name"
        }
      }
    }
  }
}
```

在上述查询中，`index_name`是你要查询的索引名称，`field_name`是你要查询的字段名称。通过设置`exists`过滤器来排除那些字段存在值的文档，然后使用`bool`查询的`must_not`条件来匹配这些文档。

执行以上查询后，ES将返回那些指定字段为空的文档。

需要注意的是，以上查询只能找出指定字段为空的文档，如果你要同时找出多个字段为空的文档，可以使用`bool`查询的`must_not`条件嵌套多个`exists`过滤器来实现。

总结起来，使用ES查询字段为空的数据，我们可以使用`missing`查询和`exists`过滤器来完成。

			
		

	



              



  
“相关推荐”对你有帮助么？

  

      
    
          
  • 
              
    
                  
                  
              
    
              
    非常没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    一般
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    有帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    非常有帮助
    
          
    • 
      

      

      

          
          提交
      

      

  




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值