elasticsearch-重建索引,数据迁移

重新索引你的数据

尽管可以增加新的类型到索引中,或者增加新的字段到类型中,但是不能添加新的分析器或者对现有的字段做改动。 如果你那么做的话,结果就是那些已经被索引的数据就不正确,搜索也不能正常工作。

对现有数据的这类改变最简单的办法就是重新索引:用新的设置创建新的索引并把文档从旧的索引复制到新的索引。

字段 _source 的一个优点是在Elasticsearch中已经有整个文档。你不必从源数据中重建索引,而且那样通常比较慢。

为了有效的重新索引所有在旧的索引中的文档,用 scroll 从旧的索引检索批量文档 ,然后用 bulk API 把文档推送到新的索引中。

从Elasticsearch v2.3.0开始, {ref}/docs-reindex.html[Reindex API] 被引入。它能够对文档重建索引而不需要任何插件或外部工具。

批量重新索引

同时并行运行多个重建索引任务,但是你显然不希望结果有重叠。正确的做法是按日期或者时间这样的字段作为过滤条件把大的重建索引分成小的任务:

GET /old_index/_search?scroll=1m
{
    "query": {
        "range": {
            "date": {
                "gte":  "2014-01-01",
                "lt":   "2014-02-01"
            }
        }
    },
    "sort": ["_doc"],
    "size":  1000
}

如果旧的索引持续会有变化,你希望新的索引中也包括那些新加的文档。那就可以对新加的文档做重新索引,但还是要用日期类字段过滤来匹配那些新加的文档。

Elasticsearch是一个强大的全文搜索引擎,用于实时数据分析和存储。如果你需要重建索引,通常是由于以下原因: **如何重建索引:** 1. **登录Elasticsearch集群:** 使用Kibana、Logstash或直接通过命令行工具(如curl)连接到你的Elasticsearch节点。 2. **确定要重建索引:** 在`/_cat/indices` API中查找你要重置或重建索引名称。 3. **暂停索引:** 在索引命名空间运行`PUT /your_index_name/_settings`并设置`index.blocks.write = true`,以防新数据写入影响重建过程。 4. **删除旧索引:** 使用`DELETE /your_index_name`删除现有的索引,但要注意这将丢失所有未备份的数据。 5. **创建新的索引:** 发起一个新的索引请求,例如`PUT /your_new_index_name`。你可以指定新索引的配置选项,比如分片数、副本数等。 6. **重新映射数据:** 如果需要,可以在新的索引上运行`POST /_reindex`操作,将老索引中的文档迁移到新索引。如果不需要迁移,可以跳过此步骤。 7. **恢复索引状态:** 当数据迁移完成后,取消对旧索引的封锁,即执行`PUT /your_index_name/_settings`并设置`index.blocks.write = false`。 8. **验证重建:** 最后,检查新索引的状态是否正常,可以通过`GET /_cat/health`查看集群健康状况。 **相关问题--:** 1. 如何防止数据丢失在重建过程中? 2. 是否可以直接在现有索引重建而无需先删除? 3. 新建索引时如何处理字段类型变化导致的问题?
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值