ElasticSearch重建索引以及重建优化

1、前言

我们都知道elasticSearch在创建好mapping后不能修改mapping的字段type,因为elasticSearch的底层是lucene,他是会先构建好分词,以及倒排索引等一些操作。所以,是不能修改mapping的。又是我们在工作中:比如,date类型弄成了text类型,或者相反。还有inter类型,需要变为float类型。等情况。我们总不可能将索引删除,重新创建一个index,这样会丢失数据。解决办法就是重建索引。

2、重建索引

所谓重建并不是删除重建创建mapping,而是使用别名映射的形式。

POST _reindex                   
{
  "source": {
    "index": "index1"
  },
  "dest": {
    "index": "index2"
  }
}

3、步骤

3.1、复制源索引mapping

原始索引:

PUT index1
{
  "mappings": {
    "_doc": {
      "properties": {
        "create_date": {
          "type":   "date",
          "format": "yyyy-MM-dd ||yyyy/MM/dd"
           
        }
      }
    }
  }
}

通过_mapping查看所有的属性。

GET index/_mapping

3.2、创建一个新索引

PUT index2
{
  "mappings": {
    "_doc": {
      "properties": {
        "create_date": {
          "type":   "text"
           
        }
      }
    }
  }
}

3.3、重建索引数据:

POST _reindex                   
{
  "source": {
    "index": "index1"
  },
  "dest": {
    "index": "index2"
  }
}

3.4、删除原索引:

也可以不删除,防止出意外。确保无误后才删除。

DELETE index1

3.5、设置别名:

POST /_aliases
{
   "actions": [
      {"add": {"index": "index2", "alias": "index1"}}
   ]
}

4、重建优化

很多时候我们重建的索引数据量很大的时候,数据同步很慢。其实主要是集群的写入速度慢。以及reindex的批次太小。
1、可以设置bitch的大小,每批的大小最好设置在10-20MB根据你索引数据的大小设置。
2、将你要创建的索引副本设置为0。
3、增加数据刷新时间间隔,最好是关闭。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Elasticsearch是一个强大的全文搜索引擎,用于实时数据分析和存储。如果你需要重建索引,通常是由于以下原因: **如何重建索引:** 1. **登录Elasticsearch集群:** 使用Kibana、Logstash或直接通过命令行工具(如curl)连接到你的Elasticsearch节点。 2. **确定要重建索引:** 在`/_cat/indices` API中查找你要重置或重建索引名称。 3. **暂停索引:** 在索引命名空间运行`PUT /your_index_name/_settings`并设置`index.blocks.write = true`,以防新数据写入影响重建过程。 4. **删除旧索引:** 使用`DELETE /your_index_name`删除现有的索引,但要注意这将丢失所有未备份的数据。 5. **创建新的索引:** 发起一个新的索引请求,例如`PUT /your_new_index_name`。你可以指定新索引的配置选项,比如分片数、副本数等。 6. **重新映射数据:** 如果需要,可以在新的索引上运行`POST /_reindex`操作,将老索引中的文档迁移到新索引。如果不需要迁移,可以跳过此步骤。 7. **恢复索引状态:** 当数据迁移完成后,取消对旧索引的封锁,即执行`PUT /your_index_name/_settings`并设置`index.blocks.write = false`。 8. **验证重建:** 最后,检查新索引的状态是否正常,可以通过`GET /_cat/health`查看集群健康状况。 **相关问题--:** 1. 如何防止数据丢失在重建过程中? 2. 是否可以直接在现有索引重建而无需先删除? 3. 新建索引时如何处理字段类型变化导致的问题?

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值