更改elasticsearch中索引的mapping

最新推荐文章于 2024-08-28 09:59:42 发布
最新推荐文章于 2024-08-28 09:59:42 发布
阅读量855 收藏
点赞数
分类专栏： elk 文章标签： elasticsearch 搜索引擎 lucene
原文链接：https://www.cnblogs.com/uglyliu/p/12331964.html
版权

昨天研发说在kibana中统计userid字段不出图，后来查到该字段显示冲突了，然后再查看了GET test/_mapping下该索引的mapping，发现userid是long类型的，而userid.keyword是string类型的，出现这种情况的根本原因是日志中这个字段存的是数值类型的值，改成字符串类型即可，由于急着用，我司上线一般是下午6点30上线，所以临时修改了下该字段的类型，步骤如下：

1、查看旧索引的mapping

GET test/_mapping

找到userid这个字段，修改类型为keyword,如下：
{
	"mappings": {
		"doc": {
			"properties": {
				"@timestamp": {
					"type": "date"
				},
				"@version": {
					"type": "text",
					"fields": {
						"keyword": {
							"type": "keyword",
							"ignore_above": 256
						}
					}
				},
				"beat": {
					"properties": {
						"hostname": {
							"type": "text",
							"fields": {
								"keyword": {
									"type": "keyword",
									"ignore_above": 256
								}
							}
						},
						"name": {
							"type": "text",
							"fields": {
								"keyword": {
									"type": "keyword",
									"ignore_above": 256
								}
							}
						},
						"version": {
							"type": "text",
							"fields": {
								"keyword": {
									"type": "keyword",
									"ignore_above": 256
								}
							}
						}
					}
				},
				"code": {
					"type": "long"
				},
				"dip": {
					"type": "text",
					"fields": {
						"keyword": {
							"type": "keyword",
							"ignore_above": 256
						}
					}
				},
				"fields": {
					"properties": {
						"log_topic": {
							"type": "text",
							"fields": {
								"keyword": {
									"type": "keyword",
									"ignore_above": 256
								}
							}
						}
					}
				},
				"host": {
					"type": "text",
					"fields": {
						"keyword": {
							"type": "keyword",
							"ignore_above": 256
						}
					}
				},
				"message": {
					"type": "text",
					"fields": {
						"keyword": {
							"type": "keyword",
							"ignore_above": 256
						}
					}
				},
				"method": {
					"type": "text",
					"fields": {
						"keyword": {
							"type": "keyword",
							"ignore_above": 256
						}
					}
				},
				"name": {
					"type": "text",
					"fields": {
						"keyword": {
							"type": "keyword",
							"ignore_above": 256
						}
					}
				},
				"offset": {
					"type": "long"
				},
				"referer": {
					"type": "text",
					"fields": {
						"keyword": {
							"type": "keyword",
							"ignore_above": 256
						}
					}
				},
				"sip": {
					"type": "text",
					"fields": {
						"keyword": {
							"type": "keyword",
							"ignore_above": 256
						}
					}
				},
				"source": {
					"type": "text",
					"fields": {
						"keyword": {
							"type": "keyword",
							"ignore_above": 256
						}
					}
				},
				"tags": {
					"type": "text",
					"fields": {
						"keyword": {
							"type": "keyword",
							"ignore_above": 256
						}
					}
				},
				"time": {
					"type": "text",
					"fields": {
						"keyword": {
							"type": "keyword",
							"ignore_above": 256
						}
					}
				},
				"url": {
					"type": "text",
					"fields": {
						"keyword": {
							"type": "keyword",
							"ignore_above": 256
						}
					}
				},
				"userid": {
					"type": "keyword"   #修改此处
				}
			}
		}
	}
}

2、创建一个自定义mapping的新索引

PUT test-new
{
	"mappings": {
		"doc": {
			"properties": {
				"@timestamp": {
					"type": "date"
				},
				"@version": {
					"type": "text",
					"fields": {
						"keyword": {
							"type": "keyword",
							"ignore_above": 256
						}
					}
				},
				"beat": {
					"properties": {
						"hostname": {
							"type": "text",
							"fields": {
								"keyword": {
									"type": "keyword",
									"ignore_above": 256
								}
							}
						},
						"name": {
							"type": "text",
							"fields": {
								"keyword": {
									"type": "keyword",
									"ignore_above": 256
								}
							}
						},
						"version": {
							"type": "text",
							"fields": {
								"keyword": {
									"type": "keyword",
									"ignore_above": 256
								}
							}
						}
					}
				},
				"code": {
					"type": "long"
				},
				"dip": {
					"type": "text",
					"fields": {
						"keyword": {
							"type": "keyword",
							"ignore_above": 256
						}
					}
				},
				"fields": {
					"properties": {
						"log_topic": {
							"type": "text",
							"fields": {
								"keyword": {
									"type": "keyword",
									"ignore_above": 256
								}
							}
						}
					}
				},
				"host": {
					"type": "text",
					"fields": {
						"keyword": {
							"type": "keyword",
							"ignore_above": 256
						}
					}
				},
				"message": {
					"type": "text",
					"fields": {
						"keyword": {
							"type": "keyword",
							"ignore_above": 256
						}
					}
				},
				"method": {
					"type": "text",
					"fields": {
						"keyword": {
							"type": "keyword",
							"ignore_above": 256
						}
					}
				},
				"name": {
					"type": "text",
					"fields": {
						"keyword": {
							"type": "keyword",
							"ignore_above": 256
						}
					}
				},
				"offset": {
					"type": "long"
				},
				"referer": {
					"type": "text",
					"fields": {
						"keyword": {
							"type": "keyword",
							"ignore_above": 256
						}
					}
				},
				"sip": {
					"type": "text",
					"fields": {
						"keyword": {
							"type": "keyword",
							"ignore_above": 256
						}
					}
				},
				"source": {
					"type": "text",
					"fields": {
						"keyword": {
							"type": "keyword",
							"ignore_above": 256
						}
					}
				},
				"tags": {
					"type": "text",
					"fields": {
						"keyword": {
							"type": "keyword",
							"ignore_above": 256
						}
					}
				},
				"time": {
					"type": "text",
					"fields": {
						"keyword": {
							"type": "keyword",
							"ignore_above": 256
						}
					}
				},
				"url": {
					"type": "text",
					"fields": {
						"keyword": {
							"type": "keyword",
							"ignore_above": 256
						}
					}
				},
				"userid": {
					"type": "keyword"
				}
			}
		}
	}
}

3、把旧索引的数据reindex到新索引上

注意，旧索引先停止新数据的写入

POST _reindex
{
  "source": {
    "index": "test"
  },
  "dest": {
    "index": "test-new"
  }
}

4、删除旧索引

DELETE test

5、按照步骤2创建test索引

PUT test
{
	"mappings": {
		"doc": {
			"properties": {
				"@timestamp": {
					"type": "date"
				},
				"@version": {
					"type": "text",
					"fields": {
						"keyword": {
							"type": "keyword",
							"ignore_above": 256
						}
					}
				},
				"beat": {
					"properties": {
						"hostname": {
							"type": "text",
							"fields": {
								"keyword": {
									"type": "keyword",
									"ignore_above": 256
								}
							}
						},
						"name": {
							"type": "text",
							"fields": {
								"keyword": {
									"type": "keyword",
									"ignore_above": 256
								}
							}
						},
						"version": {
							"type": "text",
							"fields": {
								"keyword": {
									"type": "keyword",
									"ignore_above": 256
								}
							}
						}
					}
				},
				"code": {
					"type": "long"
				},
				"dip": {
					"type": "text",
					"fields": {
						"keyword": {
							"type": "keyword",
							"ignore_above": 256
						}
					}
				},
				"fields": {
					"properties": {
						"log_topic": {
							"type": "text",
							"fields": {
								"keyword": {
									"type": "keyword",
									"ignore_above": 256
								}
							}
						}
					}
				},
				"host": {
					"type": "text",
					"fields": {
						"keyword": {
							"type": "keyword",
							"ignore_above": 256
						}
					}
				},
				"message": {
					"type": "text",
					"fields": {
						"keyword": {
							"type": "keyword",
							"ignore_above": 256
						}
					}
				},
				"method": {
					"type": "text",
					"fields": {
						"keyword": {
							"type": "keyword",
							"ignore_above": 256
						}
					}
				},
				"name": {
					"type": "text",
					"fields": {
						"keyword": {
							"type": "keyword",
							"ignore_above": 256
						}
					}
				},
				"offset": {
					"type": "long"
				},
				"referer": {
					"type": "text",
					"fields": {
						"keyword": {
							"type": "keyword",
							"ignore_above": 256
						}
					}
				},
				"sip": {
					"type": "text",
					"fields": {
						"keyword": {
							"type": "keyword",
							"ignore_above": 256
						}
					}
				},
				"source": {
					"type": "text",
					"fields": {
						"keyword": {
							"type": "keyword",
							"ignore_above": 256
						}
					}
				},
				"tags": {
					"type": "text",
					"fields": {
						"keyword": {
							"type": "keyword",
							"ignore_above": 256
						}
					}
				},
				"time": {
					"type": "text",
					"fields": {
						"keyword": {
							"type": "keyword",
							"ignore_above": 256
						}
					}
				},
				"url": {
					"type": "text",
					"fields": {
						"keyword": {
							"type": "keyword",
							"ignore_above": 256
						}
					}
				},
				"userid": {
					"type": "keyword"
				}
			}
		}
	}
}

6、把test-new索引的数据reindex到test索引上

POST _reindex
{
  "source": {
    "index": "test-new"
  },
  "dest": {
    "index": "test"
  }
}

6、查看test索引的mapping

GET test/_mapping，执行命令后，可以看到userid的字段类型为keyword类型了
然后再打开该索引接收新数据的开关
可可keketrtr
关注
专栏目录
Elasticsearch 创建索引mapping修改、修复
JAVA求生之路——博主406766467
11-02 1169
背景：原始index名字是indexName，mapping设置错误，且已经有数据进去，想要修改mapping结构。
Elasticsearch学习-索引操作及Mapping映射_es建索引建mapping
2401_84181403的博客
04-21 961
一个索引包含一个多个分片，7.0之前默认五个主分片，每个主分片一个副本，在7.0之后默认一个主分片，副本可以在索引创建之后修改数量，但是主分片的数量一旦确定不可修改。设置text类型以后，字段内容会被分析，在生成倒排索引（默认）以前，字符串会被分析器分成一个一个词项，text类型的字段不用于排序，很少用于聚合。index： 是否对当前字段创建倒排索引，默认为true，若为false，该字段不会通过索引被搜索到，但是仍会在source元数据中展示。
Elasticsearch学习-索引操作及Mapping映射_es建索引建mapping(1)
2401_84159911的博客
04-13 804
同插入数据，全量替换指定字段更新（两种格式均可）3.按条件删除数据定义文档及其包含字段的存储和索引信息，类似“表结构” 概念包含属性：字段名称、类型、字段使用的分词器、是否评分、是否创建索引等long integer short byte double float half_float scaled_float unsigned_longkeyword：适用于索引结构化的字段，只能精确值搜索，可以用于过滤、排序、聚合constant_keyword：始终包含相同
Elasticsearch中修改mapping的字段类型该怎么操作
最新发布
yuanmomoya的博客
08-28 1110
在 Elasticsearch 中，如果要修改索引字段类型且索引中已经存在数据，这是一个比较复杂的操作，并且可能会有一些限制和风险。如果原来索引中已经存在数据，这个时候要修改mapping的数据类型，除了要修改业务代码的查询逻辑，需要操作索引，API 或者编写一个脚本来实现。
Elasticsearch索引mapping的写入、查看与修改
热门推荐
1.02^365=1377.41
07-24 13万+
mapping的写入与查看首先创建一个索引：curl -XPOST "http://127.0.0.1:9200/productindex" {"acknowledged":true} 现在只创建了一个索引，并没有设置mapping，查看一下索引mapping的内容：curl -XGET "http://127.0.0.1:9200/productindex/_mapping?pretty" {
elasticsearch更改mapping(不停服务重建索引)
donlian的专栏
08-15 4873
Elasticsearch的mapping一旦创建，只能增加字段，而不能修改已经mapping的字段。但现实往往并非如此啊，有时增加一个字段，就好像打了一个补丁，一个可以，但是越补越多，最后自己都觉得惨不忍睹了。怎么办？？ 这里有一个方法修改mapping，那就是重新建立一个index，然后创建一个新的mapping。你可能会问，这要是在生产环境，可行吗？答案是，如果你一开始就采取了合适的设...
Elasticsearch Mapping类型修改 | 京东云技术团队
京东科技开发者
08-24 215
今天针对Elasticsearch的Mapping类型进行修改，讨论几个可行的方案
ElasticSearch修改mapping
qq_34589867的博客
09-10 2428
注: 本文基于es版本7.12 请注意自己的版本 mapping是不支持删除属性的,只能新增 官方api地址: Update Mapping API 首先,创建一条index并指定mapping PUT localhost:9200/test_update { "mappings":{ "properties":{ "name":{"type":"text"} } } } result: { "acknowledged": t
elasticsearch 修改mapping
hifantuantuan的博客
03-30 398
1.修改mapping（索引已存在，之前并不不存在的字段）相当于新增字段 # curl -H "Content-Type: application/json" -XPOST '192.168.198.129:9200/suggest/ensuggest/_mapping' -d' { "properties": { "language": { "type": "text...
Elasticsearch(二) Elasticsearch中的Mapping映射, 更新mapping和添加mapping
weixin_38399962的博客
08-20 1511
一. 核心简单字段类型 Elasticsearch 支持如下简单域类型： 字符串:string 整数 :byte,short,integer,long 浮点数:float,double 布尔型:boolean 日期:date 二. 复杂类型: 多值字段 很有可能，我们希望tag域包含多个标签。我们可以以数组(List)的形式索引标签： { "tag": [ "search", "nosql" ]} Java表示 List<String> tag...
ElasticSearch的REST APIs 之 索引的mapping管理
aben_sky的专栏
10-21 1298
基于ES 7.7 包括4个api: Put mapping, Get mapping, Get field mapping, Type exists(7....
Elasticsearch索引mapping的修改
qq_35168123的博客
06-25 742
 curl -XPOST "http://127.0.0.1:9200/myindex/subdomain/_mapping?pretty" -d '{ "subdomain": {            "properties": {                 "insertctime": {                    "format": "YYYY-MM-dd HH:mm:s.
elastic search 修改mapping
LYR 的博客
05-10 277
设置mapping PUT questio/_doc/_mapping { "_doc":{ "properties":{ "title":{ "type":"text", "analyzer":"stop", "search_analyzer":"stop" } } } }
Elasticsearch修改mapping
chenxy02的博客
01-20 713
参考链接：https://blog.csdn.net/a275870703/article/details/80354734 思路：elasticsearch不支持修改mapping映射，无法直接修改，需要曲线救国来实现——新增一个索引，再把原索引的数据搬过去。分为仅修改字段类型和修改/新增字段名字两种。 一、仅修改字段 1、 新建一个索引，字段和原字段一致，只修改需要的字段。 ...
elasticsearch修改mapping
极客编程的专栏
12-08 570
PUT expired_customer_common/customer/_mapping { "customer": { "dynamic_templates": [{ "string_fields": { "match": "*", "match_mapping_type": "string", "mapping": { "analyzer": "ik_max_word", "fields": { "raw": {
不停机重命名与修改ES索引mapping的实战指南
"这篇文档详细介绍了在Elasticsearch (ES) 中如何在不中断服务的情况下，对现有的mapping进行重命名和修改。主要涉及到的操作包括删除旧索引、获取当前mapping、创建新mapping以及数据迁移。" 在Elasticsearch中，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值