【ElasticSearch】深入理解 ElasticSearch Doc Values

最新推荐文章于 2025-01-26 17:40:37 发布
最新推荐文章于 2025-01-26 17:40:37 发布
阅读量409 收藏
点赞数
分类专栏： 2025最新-大数据-Elasticsearch 文章标签： elasticsearch doc value
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/116986328
版权
本文深入探讨了ElasticSearch的Doc Values，解释了为何需要Doc Values以解决字段值排序的问题。Doc Values是一种数据结构，通过转置文档和字段值的关系，优化搜索和排序性能。它允许数据在内存或磁盘上高效存储，支持压缩以减少磁盘占用，并且能够用于聚合、排序和脚本操作。禁用Doc Values可以节省空间和提高索引速度，但会限制某些功能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在这里插入图片描述

1.概述

原文地址：深入理解 ElasticSearch Doc Values

一点介绍文章：【es】Elasticsearch：inverted index，doc_values及source

前言

最近在使用 ElasticSearch，于是简单看了一下内部实现，看到 Doc Values的地方发现网上的翻译很是拗口，于是就有了下面的这篇文章。

为什么要有 Doc Values

我们都知道 ElasticSearch之所以搜索这么快速，归功于他的倒排索引的设计，然而它也不是万能的，倒排索引的检索性能是非常快的，但是在字段值排序时却不是理想的结构。下面是一个简单的倒排索引的结构


                

                
                
        

    

  


        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
            

        


    


                



	

		

			

				
					
深入探究Elasticsearch文档值（Doc Values）的大数据应用

				
			

			

				

					CodeHeroicX的博客
				

				

					08-28
					
					213
					
				

			

		

		

			
				
文档值（Doc Values）是Elasticsearch中的一种数据结构，用于在搜索和聚合操作中提供快速的字段访问。它们是存储在倒排索引中的字段值的列式存储表示形式。与传统的倒排索引不同，文档值以一种高度优化的格式存储，以提供更快的读取性能。排序：文档值使得在查询结果中对字段进行排序变得高效。聚合：文档值使得在聚合操作中对字段进行统计和计算变得高效。脚本：文档值可以在脚本中使用，以实现更高效的计算和数据操作。

			
		

	



                

            
              



	

		

			

				
					
【Elasticsearch】doc_values

				
			

			

				

					risc123456的博客
				

				

					01-26
					
					1135
					
				

			

		

		

			
				
1. **创建新索引**：首先，你需要根据旧索引的映射创建一个新索引，并确保你想要使用`doc_values`的字段在其映射中明确设置了`"doc_values": true`。- 对于某些字段类型（如`text`类型），即使你在映射中尝试设置`doc_values: true`，也会被忽略，因为这些类型默认不支持`doc_values`。- 如果在映射中没有明确看到`doc_values`字段，对于支持`doc_values`的数据类型，默认值是`true`，除非它被显式地设置为`false`。

			
		

	



              


  
              

                


	

		

			

				
					
ElasticSearch中doc values和fielddata

				
			

			

				

					happy19870612's blog
				

				

					11-15
					
					1万+
					
				

			

		

		

			
				
一 为什么聚合排序不适合使用倒排序索引
假设现在有以下的一个搜索：
POST /ecommerce/music/_search
{
   "size":0,
   "query":{
       "match":{
           "desc":"吉他"
        }
    },
   "aggs":{
       "brands":{

			
		

	





	

		

			

				
					
Elasticsearch中的DocValues

				
			

			

				

					weixin_33701294的博客
				

				

					10-26
					
					275
					
				

			

		

		

			
				
为什么80%的码农都做不了架构师？>>> 
                                        
                ...

			
		

	



		

			
		



	

		

			

				
					
深入理解ElasticSearch—顶层索引控制

				
			

			

				

					三方
				

				

					08-15
					
					287
					
				

			

		

		

			
				
一、改变lucene评分公式

1、可用的相似度模型

Okapi BM25模型：基于概率模型的相似度模型，可用于估算文档与给定查询匹配的概率。
	随机偏离模型：基于同名概率模型的相似度模型。
	基于信息的模型：与偏离概率模型类似。
2、为每个字段配置相似度模型



二、相似度模型配置







1、选择默认的相似度模型



2、配置被选用的相似度模型





三、使用编码解码器

1、...

			
		

	





	

		

			

				
					
ElasticSearch Doc Values

				
			

			

				

					weixin_33811961的博客
				

				

					03-13
					
					250
					
				

			

		

		

			
				
倒排索引
ElasticSearch之所以搜索这么快速，归功于他的倒排索引的设计。

从上图可以看出，词对应的doc，但是并不知道每一个doc中的内容，那么如果想要排序的话每一个doc都去获取一次文档内容非常耗时。Doc Values的出现使得这个问题迎刃而解。
Doc Values
倒排索引将词项映射到包含它们的文档，doc values 将文档映射到它们包含的词项：

当数据被转置之后，想要收...

			
		

	





	

		

			

				
					
【Elasticsearch】doc_values 可以用于查询操作

					
最新发布

				
			

			

				

					risc123456的博客
				

				

					01-26
					
					587
					
				

			

		

		

			
				
虽然 `doc values` 不是专门为查询设计的，但在处理某些类型的查询时（特别是涉及数值、日期、IP 地址和 `keyword` 类型字段的查询），它们可以提供有效的支持。- 对于非 `text` 字段（例如 `keyword`、数值型字段），`term` 和 `terms` 查询可以直接使用 `doc values` 来查找匹配的文档。- **I/O 操作**：由于 `doc values` 存储在磁盘上，频繁访问可能会导致更多的磁盘 I/O 操作，从而影响查询速度。

			
		

	





	

		

			

				
					
elasticsearch中的docvalues的作用

				
			

			

				

					weixin_41029286的博客
				

				

					05-21
					
					863
					
				

			

		

		

			
				
elasticsearch的搜索主要是依赖它的倒排索引，倒排索引就是根据词条（term），他把包含term的文档保存在了索引中




term
doc_1
doc_2
doc_3




spring
✔️
无
无


elasticsearch
无
✔️
无


而排序使用的是doc_values
当 doc_values 为 fasle 时，无法基于该字段排序、聚合、在脚本中访问字段值
当 doc_values 为 true 时，ES 会增加一个相应的正排索引，这增加的磁盘占用，也会导致索引数据速度

			
		

	





	

		

			

				
					
elasticsearch的doc_values

				
			

			

				

					bodouer7979的博客
				

				

					08-17
					
					705
					
				

			

		

		

			
				
Doc Values 是什么其实大部分 NoSQL在创建多个索引的时候也采用这种方式，就是再使用另一种方式存储一份文本，使得可以增强搜索。 Docvalues 通过转置两者间的关系来解决这个问题。倒排索引将词项映射到包含它们的文档， Docvalues 将文档映射到它们包含的词项：DocTerms------------------------------...

			
		

	





	

		

			

				
					
Elasticsearch之深入了解Doc Values 和 Fielddata

				
			

			

				

					LoveSummer
				

				

					02-28
					
					3293
					
				

			

		

		

			
				
DocValues
什么是DocValues
简单说明DocValues就是一个种列式的数据存储结构（docid、termvalues）。
倒排索引的优势在于查找包含某个项的文档，即通过Term查找对应的docid。

Field 的倒排





Field
Doc_1
Doc_2
Doc_3




brown
X
X



dog


X



Field2 的倒排





Field2
...

			
		

	





	

		

			

				
					
Elasticsearch Doc_Values解析

				
			

			

				

					zx711166的博客
				

				

					09-04
					
					8754
					
				

			

		

		

			
				
DocValue其实是Lucene在构建倒排索引时，会额外建立一个有序的正排索引（基于document => field value的映射列表）。

{“birthday”：“1985-11-11”,age:23}

{“birthday”：“1989-11-11”,age:29}

document age birthday

doc1 23 1985-11-11

doc1 29 198...

			
		

	





	

		

			

				
					
Elasticsearch文档值

				
			

			

				

					Mamba Out
				

				

					09-03
					
					673
					
				

			

		

		

			
				
文档值是将字段的数据存储在磁盘上的一种方式，使得字段的值以列式结构存储。这种存储方式使得对字段的高效检索和聚合成为可能，尤其是在处理大量文档时。

			
		

	





	

		

			

				
					
ElasticSearch--Doc Value

				
			

			

				

					BtWangZhi的博客
				

				

					09-04
					
					207
					
				

			

		

		

			
				
对于不分词的字段，聚合操作是基于Doc Value，即正排索引
对于分词的字段，聚合操作是基于Fielddata，需要开启，结构和doc value类似，如果是ngram，会占用大量的内存。
未完待续。。。



			
		

	





	

		

			

				
					
ElasticSearch搜索引擎：常用的存储mapping配置项 与 doc_values详细介绍

					
热门推荐

				
			

			

				

					张维鹏的博客
				

				

					06-15
					
					1万+
					
				

			

		

		

			
				
1、Elasticsearch的mapping设置：enabled，index，doc_values，store，_source
2、doc_values 详细说明：doc values就是在构建倒排索引时，对开启 doc values 的字段额外构建一个有序的 "document文档 ==> field value“ 的列式存储映射，从而实现对指定字段进行排序和聚合时对内存的依赖，提升该过程的性能。
3、doc_values 与 source 的区别？使用 docvalue_fields 检索指定字段

			
		

	





	

		

			

				
					
ElasticSearch学习笔记之八 Doc Values and Fielddata

				
			

			

				

					灵动的艺术的博客
				

				

					10-19
					
					1762
					
				

			

		

		

			
				
ElasticSearch学习笔记之八 Doc Values and FielddataDoc Values 简介Doc values 的原理深入理解 Doc Values列式存储的压缩禁用 Doc ValuesAnalyzed strings and Fielddata
Doc Values 简介
当你对一个字段进行排序时，Elasticsearch 需要访问每个匹配到的文档得到相关的值。倒排索...

			
		

	





	

		

			

				
					
ElasticSearch排序那点事-doc_values

				
			

			

				

					lengyingzhang的博客
				

				

					04-02
					
					853
					
				

			

		

		

			
				
DocValues 通过转置倒排索引和正排索引两者间的关系来解决这个问题。倒排索引将词项映射到包含它们的文档， Docvalues 将文档映射到它们包含的词项：当数据被转置之后，想要收集到每个文档行，获取所有的词项就非常简单了。所以搜索使用倒排索引查找文档，聚合操作收集和聚合 DocValues 里的数据，这就是 ElasticSearch。

			
		

	





	

		

			

				
					
Elasticsearch 之（30）doc value机制内核级原理深入探秘

				
			

			

				

					weixin_30716725的博客
				

				

					05-28
					
					275
					
				

			

		

		

			
				
1、doc value原理（1）index-time生成PUT/POST的时候，就会生成doc value数据，也就是正排索引（2）核心原理与倒排索引类似正排索引，也会写入磁盘文件中，然后呢，os cache先进行缓存，以提升访问doc value正排索引的性能如果os cache内存大小不足够放得下整个正排索引，doc value，就会将doc value的数据...

			
		

	





	

		

			

				
					
Elasticsearch学习---Doc_values应用介绍

				
			

			

				

					自律使我自由
				

				

					07-12
					
					1154
					
				

			

		

		

			
				
前言



			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
九师兄

			
你的鼓励是我做大写作的动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值