1 背景
期望:ES索引新增字段,历史+新增数据应用默认值,不需要业务代码清洗。
1.1 新增字段ES操作步骤
- ES旧索引名:
store_product_index_old
。 - 模板mapping新增字段
lockState
,null_value
为"0"
。
"lockState" : {
"type" : "keyword",
"null_value" : "0"
},
-
根据新模板创建ES新索引:
store_product_index_new
。 -
使用reindex将旧索引
store_product_index_old
数据迁移到新索引store_product_index_new
中,期望新增字段lockState
默认值生效,客户端不需要清洗。
POST _reindex?wait_for_completion=false
{
"conflicts": "proceed",
"source": {
"index": "store_product_index_old"
},
"dest": {
"index": "store_product_index_new",
"op_type": "create",
"version_type": "external"
}
}
数据迁移到新索引后,在Kibana执行命令发现和期望结果不一致。
1.2 case
主要有以下几种场景。
场景一: 检索历史数据doc不展示新增字段lockState
。
GET store_product_index_new/_search
{
"query": {
"term": {
"id":"1732705221680825856"
}
}
}
场景二:使用新增字段默认值“0”查询,检索不到doc。
GET store_product_index_new/_search
{
"query": {
"term": {
"lockState":"0"
}
}
}
场景三:新插入一条数据,不指定lockState
,doc不可见,检索不到。
POST store_product_index_new/_doc/
{
"id": "1732705221680825857",
"colourId": 30,
"storageAge": 1
}
场景四: 新插入一条数据,lockState
为null
,使用默认值检索生效,但doc中lockState
值仍为null
。
GET store_product_index_new/_search
{
"query": {
"term": {
"lockState":"0"
}
}
}
1.3 问题
根据上述ES新增字段场景,总结为两个问题:
- 为什么新增字段设置
null_value
,不应用于历史数据? - 新增字段怎么应用默认值?
2 分析
2.1 ES新增字段设置默认值为什么不应用于历史数据
1. 索引结构特性
-
动态模式:
ES允许在索引创建后动态地添加新字段,索引结构的变化不会自动应用于已存在的文档。 -
数据不变性原则:
ES中的文档一旦写入,其原始内容就保持不变,新字段仅适用于后续添加的文档。
2. 数据更新机制
在ES中,更新文档通常是通过删除旧文档并插入一个新文档(全文档替换)来实现,如果要为旧文档添加新字段并设置默认值,必须显式执行这一操作。
3. 实际操作中的考虑
-
性能影响:
对于包含大量文档的索引,使用脚本更新所有文档以添加新字段和默认值会对性能产生影响。 -
业务需求:
在某些情况下,业务需求可能不需要为所有历史数据设置新字段的默认值。例如,如果新字段仅用于新生成的数据或特定类型的查询,则可能不需要对旧文档进行更新。
2.2 新增字段ES和MySQL设置默认值的区别
-
ES
① 新增字段不会自动为历史数据设置默认值,需要显式更新。
②null_value
在索引上进行null值替换,但不改变存储在文档中的实际值。 -
MySQL
新增字段NOT NULL DEFAULT '0'
会自动应用于所有已存在的数据,这是MySQL数据完整性和一致性决定的。
3 解决方案
前提,索引mapping字段设置null_value
,需要显式为新增字段填充value。
方案一: 客户端预处理
在索引模板中设置默认值,业务清洗数据,新增字段使用代码赋值,如果value显式指定为null,默认值会被应用。
方案二:_reindex
使用脚本设置默认值
_reindex
迁移存量数据时使用script
设置默认值,增量数据如果value为null索引会应用默认值。
POST _reindex?wait_for_completion=false
{
"conflicts": "proceed",
"source": {
"index": "store_product_index_old"
},
"dest": {
"index": "store_product_index_new",
"op_type": "create",
"version_type": "external"
},
"script": {
"lang": "painless",
"source": "if(ctx['_source']['lockState'] == null) { ctx['_source']['lockState'] = '0' }"
}
}
方案三:使用Ingest Pipeline
Ingest Pipeline是ES提供的一种强大的数据预处理机制,可以在数据索引之前对数据进行转换或设置默认值。通过定义一个包含set处理器的Pipeline,可以在数据被索引之前为缺失的字段设置默认值。
PUT _ingest/pipeline/set_lock_state_default
{
"description" : "sets default lockState value if missing",
"processors" : [
{
"set" : {
"field": "lockState",
"value": "0",
"if": "ctx.lockState == null"
}
}
]
}
POST _reindex
{
"source": {
"index": "store_product_index_old"
},
"dest": {
"index": "store_product_index_new",
"pipeline": "set_lock_state_default"
}
}
方案四:使用_update_by_query
API
存量数据字段清洗,可以使用_update_by_query
API来实现。
示例:对所有id
字段存在数据设置lockState
值为"0"
。
POST store_product_index_new/_update_by_query
{
"script": {
"source": "if (ctx._source.lockState == null) { ctx._source.lockState = '0' }",
"lang": "painless"
},
"query": {
"exists": {
"field": "id"
}
}
}