elasticsearch新旧索引数据迁移

我们知道elasticsearch中的索引一旦设置了映射规则之后就不能修改了,因为lucene实现的倒排索引生成后不允许修改。但有时我们需要对旧的索引使用新的mapping映射,以支持需要的查询。

比如旧的索引有个"testText"字段,其类型为text类型。text会进行分词分析,因此对此字段进行聚合之类的操作时会出现问题,具体可以看这篇文章。那么有没有其他方式实现修改映射呢?答案是有的,但不是直接修改,而是备份旧索引,然后同步到新的索引中。

下面是简单地实现过程。

使用到的命令是_reindex

1.首先创建一个旧索引my_index,并设置字段testText的类型为text

PUT my_index
{
  "mappings" : {
        "my_type" : {
            "properties" : {
				"testText" : {
                    "type" : "text"
                }
            }
        }
    }
}

2.插入一条文档 

POST my_index/my_type
{
  "testText":"v1/v2"
}

3.因为text会进行分词,因此这时候用下面的命令精确查找“v1/v2”应该是找不到数据的

GET my_index/my_type/_search
{
  "query": {
    "term": {
      "testText": {
        "value": "v1/v2"
      }
    }
  }
}

4.备份旧索引my_index数据到备份索引my_index_back

POST _reindex
{
  "source": {"index": "my_index"},
  "dest": {"index": "my_index_back"}
}

此时可以查看旧索引和备份索引,他们的数据是一样的,但备份索引的mapping有所不同,如下

{
  "my_index_back": {
    "mappings": {
      "my_type": {
        "properties": {
          "testText": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          }
        }
      }
    }
  }
}

这就是说进行reindex的时候,elasticsearch默认会进行一些修改mapping的操作,但具体是什么机制还不知道,先不管。

5.接下来建立新索引my_index_new,并设置testText字段的类型为keyword

PUT my_index_new
{
  "mappings" : {
    "my_type" : {
      "properties" : {
				"testText" : {
            "type" : "keyword"
        }
      }
    }
  }
}

6.将备份索引的数据迁移到新索引中

POST _reindex
{
  "source": {"index": "my_index_back"},
  "dest": {"index": "my_index_new"}
}

7.在新索引中查找“v1/v2”,发现可以精确查找到数据了

GET my_index_new/my_type/_search
{
  "query": {
    "term": {
      "testText": {
        "value": "v1/v2"
      }
    }
  }
}

初步说明,数据迁移并修改映射规则成功!

  • 1
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Elasticsearch一个开源的分布式搜索和分析引擎,用于快速存储、搜索和分析大量的数据。在 Elasticsearch 中,我们可以通过索引数据来建立搜索的数据集。 上传索引数据是指将数据导入到 Elasticsearch 中的过程。可以通过多种方式来上传索引数据,下面是一些常用的方法: 1. 使用 Elasticsearch 提供的 RESTful API:通过调用 Elasticsearch 的 RESTful API,我们可以将数据以 JSON 格式的文档插入到索引中。首先,我们需要创建一个索引,并指定索引名称、数据类型和字段的映射规则。然后,可以使用 API 中的索引命令来插入数据。 2. 使用 Logstash:Logstash 是一个开源的数据处理工具,它可以从各种来源(如文件、数据库、Kafka 等)读取数据,并将其转换为适合 Elasticsearch 的格式,然后将数据导入到 Elasticsearch 中。Logstash 支持多种输入和输出插件,可以根据需要来选择适合的插件。 3. 使用 Filebeat:Filebeat 是一个轻量级的日志数据收集器,它可以监控文件或目录中的变化,并将变化的数据发送到 Elasticsearch 或 Logstash 进行处理。通过配置 Filebeat,可以指定要监控的文件和数据格式,并将其传输到 Elasticsearch 中。 4. 使用批量处理 API:Elasticsearch 提供了一个批量处理 API,可以在一次请求中插入多个文档。可以将多个文档放在一个 JSON 数组中,然后使用批量处理 API 将整个数组上传到 Elasticsearch 中。 上传索引数据Elasticsearch 中的一个重要步骤,能够帮助我们构建强大的搜索和分析功能。通过以上方法,我们可以将不同来源和格式的数据上传到 Elasticsearch 中,以便后续的数据分析和搜索操作。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值