ElasticSearch重建索引以及重建优化

1、前言

我们都知道elasticSearch在创建好mapping后不能修改mapping的字段type,因为elasticSearch的底层是lucene,他是会先构建好分词,以及倒排索引等一些操作。所以,是不能修改mapping的。又是我们在工作中:比如,date类型弄成了text类型,或者相反。还有inter类型,需要变为float类型。等情况。我们总不可能将索引删除,重新创建一个index,这样会丢失数据。解决办法就是重建索引。

2、重建索引

所谓重建并不是删除重建创建mapping,而是使用别名映射的形式。

POST _reindex                   
{
  "source": {
    "index": "index1"
  },
  "dest": {
    "index": "index2"
  }
}

3、步骤

3.1、复制源索引mapping

原始索引:

PUT index1
{
  "mappings": {
    "_doc": {
      "properties": {
        "create_date": {
          "type":   "date",
          "format": "yyyy-MM-dd ||yyyy/MM/dd"
           
        }
      }
    }
  }
}

通过_mapping查看所有的属性。

GET index/_mapping

3.2、创建一个新索引

PUT index2
{
  "mappings": {
    "_doc": {
      "properties": {
        "create_date": {
          "type":   "text"
           
        }
      }
    }
  }
}

3.3、重建索引数据:

POST _reindex                   
{
  "source": {
    "index": "index1"
  },
  "dest": {
    "index": "index2"
  }
}

3.4、删除原索引:

也可以不删除,防止出意外。确保无误后才删除。

DELETE index1

3.5、设置别名:

POST /_aliases
{
   "actions": [
      {"add": {"index": "index2", "alias": "index1"}}
   ]
}

4、重建优化

很多时候我们重建的索引数据量很大的时候,数据同步很慢。其实主要是集群的写入速度慢。以及reindex的批次太小。
1、可以设置bitch的大小,每批的大小最好设置在10-20MB根据你索引数据的大小设置。
2、将你要创建的索引副本设置为0。
3、增加数据刷新时间间隔,最好是关闭。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Elasticsearch 中,可以使用以下两种方式来重建索引: 1. 使用 Reindex API 通过使用 Reindex API,可以将一个或多个索引中的文档复制到新的索引中。这个API会创建一个新的索引,并将源索引中的文档重新索引到新的索引中。 以下是使用 Reindex API 重建索引的示例: ``` POST _reindex { "source": { "index": "source_index" }, "dest": { "index": "new_index" } } ``` 其中,`source_index` 是源索引名称,`new_index` 是新索引名称。 2. 使用 Snapshot and Restore 通过使用快照和恢复机制,可以在 Elasticsearch 中创建一个索引的副本。这种方法需要使用 Elasticsearch 的 Snapshot and Restore 功能。 以下是使用 Snapshot and Restore 重建索引的示例: 首先,创建一个索引的快照: ``` PUT /_snapshot/my_backup/snapshot_1 { "indices": "my_index", "include_global_state": false } ``` 然后,恢复这个快照到一个新的索引中: ``` POST /_snapshot/my_backup/snapshot_1/_restore { "indices": "my_index", "ignore_unavailable": true, "include_global_state": false, "rename_pattern": "my_index", "rename_replacement": "new_index" } ``` 其中,`my_index` 是源索引名称,`new_index` 是新索引名称。 无论采用哪种方法,重建索引都需要一定的时间和资源。因此,在执行重建索引操作之前,应该确保 Elasticsearch 集群具有足够的资源,并且在进行操作时,最好暂停写入操作,以避免数据的不一致性。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值