Elasticsearch mapping field修改过程

转载 2018年04月16日 11:04:03

Elasticsearch 的坑爹事 

本文记录一次Elasticsearch mapping field修改过程


团队使用Elasticsearch做日志的分类检索分析服务,使用了类似如下的_mapping

1
2
3
4
5
6
7
8
9
10
11
12
13
14
{
    "settings" : {
        "number_of_shards" : 20
    },
    "mappings" : {
      "client" : {
        "properties" : {
          "ip" : {
            "type" "long"
          },
          "cost" : {
            "type" "long"
          },
}

 
现在问题来了,日志中输出的"127.0.0.1"这类的IP地址在Elasticsearch中是不能转化为long的(报错Java.lang.NumberFormatException),所以我们必须将字段改为string型或者ip型(Elasticsearch支持, 数据类型可见mapping-core-types)才能达到理想的效果.

目标明确了,就是改掉mapping的ip的field type即可.
elasticsearch.org找了一圈 嘿嘿, update一下即可

1
2
3
4
5
6
7
8
curl -XPUT localhost:8301/store/client/_mapping -d '
{
    "client" : {
        "properties" : {
            "local_ip" : {"type" "string""store" "yes"}   
        }
    }
}


报错结果

1
{"error":"MergeMappingException[Merge failed with failures {[mapper [local_ip] of different type, current_type [long], merged_type [string]]}]","status":400}



尼玛 真逗  我long想转一下string 居然失败(elasticsearch产品层面理应支持这种无损转化)  无果
Google了一下类似的案例 (案例)
在一个帖子中得到的elasticsearch开发人员的准确答复


  "You can't change existing mapping type, you need to create a new index with the correct mapping and index the data again."

想想 略坑啊 我不管是因为elasticsearch还是因为底层Lucene的原因,修改一个field需要对所有已有数据的所有field进行reindex,这本身就是一个逆天的思路,但是elasticsearch的研发人员还觉得这没有什么不合理的.

在Elasticsearch上游逛了一圈,上面这样写到
(http://www.elasticsearch.org/blog/changing-mapping-with-zero-downtime/)
the problem — why you can’t change mappings

You can only find that which is stored in your index. In order to make your data searchable, your database needs to know what type of data each field contains and how it should be indexed. If you switch a field type from e.g. a string to a date, all of the data for that field that you already have indexed becomes useless. One way or another, you need to reindex that field.

...
OK,这一段话很合理,我改了一个field的类型 需要对这个field进行reindex,如论哪种数据库都需要这么做,没错.
我们再继续往下看看,reindexing your data, 尼玛一看,弱爆了,他的reindexing your data不是对修改的filed进行reindex,而是创建了一个新的index,对所有的filed进行reindexing, 太逆天了。

吐槽归吐槽,这个事情逃不了,那我就按他的来吧.
首先创建一个新的索引

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
curl -XPUT localhost:8305/store_v2 -d '
{
    "settings" : {
        "number_of_shards" : 20
    },
    "mappings" : {
      "client" : {
        "properties" : {
          "ip" : {
            "type" "string"
          },
          "cost" : {
            "type" "long"
          },
}


等等,我创建了新索引,client往Elasticsearch的代码不会需要修改吧,瞅了一眼,有解决方案,建立一个alias(别名,和C++引用差不多),通过alias来实现对后面索引数据的解耦合,看到这,舒了一口气。

现在的问题是 这是一个线上服务,不能停服务,所以我需要一个倒数据到我的新索引的一个方案
Elasticsearch官网写到
  pull the documents in from your old index, using a scrolled search and index them into the new index using the bulk API. Many of the client APIs provide a reindex() method which will do all of this for you. Once you are done, you can delete the old index.
第一句,看起来很美好,找了一圈,尼玛无图无真相,Google都没有例子,你让我怎么导数据?
第二句 client APIS, 看起来只有这个方法可搞了

python用起来比较熟,所以我就直接选 pyes了,装了一大堆破依赖库之后,终于可以run起来了

1
2
3
4
5
6
7
8
import pyes
conn = pyes.es.ES("http://10.xx.xx.xx:8305/")
search = pyes.query.MatchAllQuery().search(bulk_read=1000)
hits = conn.search(search, 'store_v1''client', scan=True, scroll="30m", model=lambda _,hit: hit)
for hit in hits:
     #print hit
     conn.index(hit['_source'], 'store_v2''client', hit['_id'], bulk=True)
conn.flush()

 
花了大概一个多小时,新的索引基本和老索引数据一致了,对于线上完成瞬间的增量,这里没心思关注了,数据准确性要求没那么高,得过且过。

接下来修改alias别名的指向(如果你之前没有用alias来改mapping,纳尼就等着哭吧)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
curl -XPOST localhost:8305/_aliases -d '
{
    "actions": [
        "remove": {
            "alias""store",
            "index""store_v1"
        }},
        "add": {
            "alias""store",
            "index""store_v2"
        }}
    ]
}
'

 
啷啷锵锵,正在追数据中

等新索引的数据已经追上时

将老的索引删掉

1
curl -XDELETE localhost:8303/store_v1

 

至此完成!

一件如此简单的事情,Elasticsearch居然能让他变得如此复杂,真是牛逼啊...


转自:http://creator.cnblogs.com/

Elasticsearch—记录一次mapping field修改过程

本文记录一次Elasticsearch mapping field修改过程 团队使用Elasticsearch做日志的分类检索分析服务,使用了类似如下的_mapping ...
  • xgjianstart
  • xgjianstart
  • 2017-12-12 14:36:02
  • 236

elasticsearch-不停服务修改mapping

一个常见的问题是:当数据模型需要修改schema的时候,需要重建索引。如果索引很大,这个需要较长时间,因此要暂停服务,这对应用程序来说是无法接受的。有没有不停服务直接修改mappoing的方法呢?可以...
  • jingkyks
  • jingkyks
  • 2014-11-26 11:06:59
  • 4006

elasticsearch之mapping field

Mapping定义了文档是如何被处理并存储在搜索引擎中的,包括可搜索的特点,比如哪些字段是可以被搜索的,字段是否被处理过,如何处理的等方面。es中,可以把文档分在不同的mapping type下。允许...
  • jingkyks
  • jingkyks
  • 2014-12-03 14:46:23
  • 1595

elasticsearch中更新mapping的方式

curl -XPUT localhost:9200/my_index/my_type/_mapping -d ' { "my_type": { "properties": { ...
  • u010585120
  • u010585120
  • 2015-08-12 08:58:19
  • 1493

Elasticsearch-mapper 基于注解方式生成mapping(2.0以上)

Elasticsearch生成mapping的方式上有多种方式,我们可以把mapping做成配置文件,也可以用spring-data-elasticsearch基于注解生成。 在基于注解生成这种方式上...
  • chennanymy
  • chennanymy
  • 2016-09-25 19:04:44
  • 2535

Elasticsearch实战系列-mapping 设置

本篇主要讲解Mapping的一些相关配置与需要注意的地方,说到Mapping大家可能觉得有些不解,其实我大体上可以将Elasticsearch理解为一个RDBMS(关系型数据库,比如MySQL),那么...
  • FX_SKY
  • FX_SKY
  • 2016-02-29 17:49:20
  • 18384

elasticsearch 修改mapping

点击打开链接http://blog.csdn.net/jingkyks/article/details/41513063 点击打开链接http://blog.csdn.net/lengfeng9...
  • lein_wang
  • lein_wang
  • 2016-06-24 18:02:37
  • 2464

Elasticsearch 的坑爹事——记录一次mapping field修改过程

团队使用Elasticsearch做日志的分类检索分析服务,使用了类似如下的_mapping { "settings" : { "number_of_shards" : ...
  • adermxl
  • adermxl
  • 2014-11-01 11:58:39
  • 1062

elasticsearch 设置 mapping 时的 store 属性

总结:es在存储数据的时候发吧json对象存储到"_source"字段里,如果index 属性设置了 analyzed 会做一个倒排表方便查询。可以理解_source 就是数据库里的一条记录(可以选着...
  • helllochun
  • helllochun
  • 2016-08-06 16:27:11
  • 4997

Elasticsearch教程,Elasticsearch Java API创建Mapping,指定分词器

先说  Elasticsearch  版本,我的  Elasticsearch  版本是2.x ,具体是2.0.2 ,所以参照的时候,请先核对版本,在版本相差大的情况下,先可以试试。 为什么要指...
  • oqqsoso123456
  • oqqsoso123456
  • 2017-05-29 10:40:02
  • 4058
收藏助手
不良信息举报
您举报文章:Elasticsearch mapping field修改过程
举报原因:
原因补充:

(最多只允许输入30个字)