ES-新增字段默认值未生效_es增加字段命令生效-CSDN博客

本文链接：https://blog.csdn.net/qq_38252499/article/details/141173075

1 背景

期望：ES索引新增字段，历史+新增数据应用默认值，不需要业务代码清洗。

1.1 新增字段ES操作步骤

ES旧索引名：store_product_index_old。
模板mapping新增字段lockState，null_value为"0"。

        "lockState" : {
            "type" : "keyword",
            "null_value" : "0"
          },

根据新模板创建ES新索引：store_product_index_new。
使用reindex将旧索引store_product_index_old数据迁移到新索引store_product_index_new中，期望新增字段lockState默认值生效，客户端不需要清洗。

	POST _reindex?wait_for_completion=false
	{
	    "conflicts": "proceed",
	    "source": {
	        "index": "store_product_index_old"
	    },
	    "dest": {
	        "index": "store_product_index_new",
	        "op_type": "create",
	        "version_type": "external"
	    }
	  }

数据迁移到新索引后，在Kibana执行命令发现和期望结果不一致。

1.2 case

主要有以下几种场景。

场景一：检索历史数据doc不展示新增字段lockState。

	GET store_product_index_new/_search
	{
	  "query": {
	    "term": {
	      "id":"1732705221680825856"
	    }
	  }
	}

在这里插入图片描述

场景二：使用新增字段默认值“0”查询，检索不到doc。

GET store_product_index_new/_search
{
  "query": {
    "term": {
      "lockState":"0"
    }
  }
}

在这里插入图片描述

场景三：新插入一条数据，不指定lockState，doc不可见，检索不到。

	POST store_product_index_new/_doc/
	{
	  "id": "1732705221680825857",
	  "colourId": 30,
	  "storageAge": 1
	}

场景四：新插入一条数据，lockState为null，使用默认值检索生效，但doc中lockState值仍为null。


GET store_product_index_new/_search
{
  "query": {
    "term": {
      "lockState":"0"
    }
  }
}

在这里插入图片描述

1.3 问题

根据上述ES新增字段场景，总结为两个问题：

为什么新增字段设置null_value，不应用于历史数据？
新增字段怎么应用默认值？

2 分析

2.1 ES新增字段设置默认值为什么不应用于历史数据

1. 索引结构特性

动态模式：
ES允许在索引创建后动态地添加新字段，索引结构的变化不会自动应用于已存在的文档。
数据不变性原则：
ES中的文档一旦写入，其原始内容就保持不变，新字段仅适用于后续添加的文档。

2. 数据更新机制
在ES中，更新文档通常是通过删除旧文档并插入一个新文档（全文档替换）来实现，如果要为旧文档添加新字段并设置默认值，必须显式执行这一操作。

3. 实际操作中的考虑

性能影响：
对于包含大量文档的索引，使用脚本更新所有文档以添加新字段和默认值会对性能产生影响。
业务需求：
在某些情况下，业务需求可能不需要为所有历史数据设置新字段的默认值。例如，如果新字段仅用于新生成的数据或特定类型的查询，则可能不需要对旧文档进行更新。

2.2 新增字段ES和MySQL设置默认值的区别

ES
① 新增字段不会自动为历史数据设置默认值，需要显式更新。
② null_value 在索引上进行null值替换，但不改变存储在文档中的实际值。
MySQL
新增字段NOT NULL DEFAULT '0'会自动应用于所有已存在的数据，这是MySQL数据完整性和一致性决定的。

3 解决方案

前提，索引mapping字段设置null_value，需要显式为新增字段填充value。

方案一：客户端预处理
在索引模板中设置默认值，业务清洗数据，新增字段使用代码赋值，如果value显式指定为null，默认值会被应用。

方案二：_reindex使用脚本设置默认值
_reindex迁移存量数据时使用script设置默认值，增量数据如果value为null索引会应用默认值。

POST _reindex?wait_for_completion=false
{
    "conflicts": "proceed",
    "source": {
        "index": "store_product_index_old"
    },
    "dest": {
        "index": "store_product_index_new",
        "op_type": "create",
        "version_type": "external"
    },
 
  "script": {  
      "lang": "painless",  
      "source": "if(ctx['_source']['lockState'] == null) { ctx['_source']['lockState'] = '0' }"  
    }  
  }

方案三：使用Ingest Pipeline
Ingest Pipeline是ES提供的一种强大的数据预处理机制，可以在数据索引之前对数据进行转换或设置默认值。通过定义一个包含set处理器的Pipeline，可以在数据被索引之前为缺失的字段设置默认值。

PUT _ingest/pipeline/set_lock_state_default  
{  
  "description" : "sets default lockState value if missing",  
  "processors" : [  
    {  
      "set" : {  
        "field": "lockState",  
        "value": "0",  
        "if": "ctx.lockState == null"  
      }  
    }  
  ]  
}

POST _reindex  
{  
  "source": {  
    "index": "store_product_index_old"  
  },  
  "dest": {  
    "index": "store_product_index_new",  
    "pipeline": "set_lock_state_default"  
  }  
}

方案四：使用_update_by_query API
存量数据字段清洗，可以使用_update_by_query API来实现。
示例：对所有id字段存在数据设置lockState值为"0"。

POST store_product_index_new/_update_by_query  
{  
  "script": {  
    "source": "if (ctx._source.lockState == null) { ctx._source.lockState = '0' }",  
    "lang": "painless"  
  },  
  "query": {  
    "exists": {  
      "field": "id"  
    }
  }  
}