ElasticSearch 6.3版本 Document APIs之Reindex API

最新推荐文章于 2024-04-13 06:21:14 发布
最新推荐文章于 2024-04-13 06:21:14 发布
阅读量2.1k 收藏 1
点赞数
分类专栏： ElasticSearch 文章标签： Elasticsearch
Reindex API

声明：本文根据ES官方文档进行翻译与总结而得。转载请注明作者：https://blog.csdn.net/qingmou_csdn

注意：Reindex不会尝试设置目标索引。它不会复制源索引的设置。您应该在运行 _reindex 操作之前设置目标索引，包括设置映射，分片计数，副本等。

最基本的形式_reindex只是将文档从一个索引复制到另一个索引。如将gaoyh索引中的文档复制到test索引中：

POST _reindex
{
  "source": {
    "index": "gaoyh"
  },
  "dest": {
    "index": "test"
  }
}
响应结果：
{
  "took": 161,
  "timed_out": false,
  "total": 5,
  "updated": 0,
  "created": 5,
  "deleted": 0,
  "batches": 1,
  "version_conflicts": 0,
  "noops": 0,
  "retries": {
    "bulk": 0,
    "search": 0
  },
  "throttled_millis": 0,
  "requests_per_second": -1,
  "throttled_until_millis": 0,
  "failures": []
}
注意：
就像 _update_by_query ， _reindex 获取源索引的快照但其目标必须是不同的索引，因此不太可能发生版本冲突。该 dest 元素可以像Index API一样配置，以控制乐观并发控制。只是遗漏  version_type （如上所述）或将其设置为 internal 将导致Elasticsearch盲目地将文档转储到目标中，覆盖任何碰巧具有相同类型和id的文件： 
POST _reindex
{
  "source": {
    "index": "gaoyh"
  },
  "dest": {
    "index": "test",
    "version_type": "internal"
  }
}
设置 version_type 为 external 将导致Elasticsearch保留  version 源，创建缺少的任何文档，并更新目标索引中具有旧版本的文档而不是源索引中的任何文档： 
POST _reindex
{
  "source": {
    "index": "gaoyh"
  },
  "dest": {
    "index": "index_test",
    "version_type": "external"
  }
}
若在索引index_test中，已经存在版本号为1的文档1，而在索引gaoyh中同样存在版本号为1的文档1，则会造成版本冲突，响应结果如下： 
{
  "took": 33,
  "timed_out": false,
  "total": 5,
  "updated": 0,
  "created": 4,
  "deleted": 0,
  "batches": 1,
  "version_conflicts": 1,
  "noops": 0,
  "retries": {
    "bulk": 0,
    "search": 0
  },
  "throttled_millis": 0,
  "requests_per_second": -1,
  "throttled_until_millis": 0,
  "failures": [
    {
      "index": "index_test",
      "type": "test",
      "id": "1",
      "cause": {
        "type": "version_conflict_engine_exception",
        "reason": "[test][1]: version conflict, current version [1] is higher or equal to the one provided [1]",
        "index_uuid": "Qqk6nvQMQFGE6tw3Xb-PGw",
        "shard": "0",
        "index": "index_test"
      },
      "status": 409
    }
  ]
}
即文档1没法从索引gaoyh中复制到索引index_test中；

若索引gaoyh中的文档1的版本号比索引index_test中文档1的版本号高，则会更新索引index_test中的文档1（响应结果如下），此时文档1的版本号等同索引gaoyh中文档1的版本号： 
{
  "took": 4,
  "timed_out": false,
  "total": 5,
  "updated": 5,
  "created": 0,
  "deleted": 0,
  "batches": 1,
  "version_conflicts": 0,
  "noops": 0,
  "retries": {
    "bulk": 0,
    "search": 0
  },
  "throttled_millis": 0,
  "requests_per_second": -1,
  "throttled_until_millis": 0,
  "failures": []
}
设置 op_type为create 会导致 _reindex 在目标指数只会造成文件丢失。所有现有文档都会导致版本冲突，即只能复制目标索引index_test中没有的文档，已有的文档，都不能从gaoyh中复制过来： 
POST _reindex
{
  "source": {
    "index": "gaoyh"
  },
  "dest": {
    "index": "index_test",
    "op_type": "create"
  }
}
默认情况下，版本冲突会中止该 _reindex 过程，但您可以通过 "conflicts": "proceed" 请求正文中的设置对它们进行计数： 
POST _reindex
{
  "conflicts": "proceed", 
  "source": {
    "index": "gaoyh"
  },
  "dest": {
    "index": "index_test",
    "op_type": "create"
  }
}
加上"conflicts": "proceed"后响应结果中不会具体显示failures。
但是，版本冲突时并未造成reindex过程中止。
您可以通过向其添加类型 source 或通过添加查询来限制文档。

如，只复制旧索引twitter中用户kimchy的文档到新索引new_twitter中： 
POST _reindex
{
  "source": {
    "index": "twitter",
    "type": "_doc",
    "query": {
      "term": {
        "user": "kimchy"
      }
    }
  },
  "dest": {
    "index": "new_twitter"
  }
}
也可以通过设置来限制处理文档的数量  size 。这只会将单个文档复制 twitter 到  new_twitter ： 
POST _reindex
{
  "size": 2, 
  "source": {
    "index": "gaoyh"
  },
  "dest": {
    "index": "index_test"
  }
}
设置size为2，则会随机从索引gaoyh中选择2个文档复制到新索引index_test中（说是随机，但感觉不是随机的-_-||试了4次，每次都是gaoyh中的文档2和5被复制过来。。）
该 source 部分支持 搜索请求中 支持的所有元素 。例如，可以使用 source 过滤重新索引原始文档中的一部分字段，如下所示： 
POST _reindex
{
  "source": {
    "index": "twitter",
    "_source": ["user", "_doc"]
  },
  "dest": {
    "index": "new_twitter"
  }
}
像_update_by_query一样，_reindex也支持脚本修改文档。与_update_by_query不一样的是，_reindex允许脚本修改文档的元数据。e.g. 
POST _bulk
{"index":{"_index":"gaoyh","_type":"test","_id":"1"}}
{"user":"aaa","content":"test"}
{"index":{"_index":"gaoyh","_type":"test","_id":"2"}}
{"user":"aaa","content":"test"}
{"index":{"_index":"gaoyh","_type":"test","_id":"3"}}
{"user":"ccc","content":"test"}
{"index":{"_index":"gaoyh","_type":"test","_id":"4"}}
{"user":"bbb","content":"test"}
{"index":{"_index":"gaoyh","_type":"test","_id":"5"}}
{"user":"bbb","content":"test"}

PUT index_test
{
  "settings":{
    "number_of_shards": 1,
    "number_of_replicas": 0
  },
  "mappings": {
    "test":{
      "properties": {
        "user":{
          "type": "text"
        },
        "content":{
          "type": "text"
        }
      }
    }
  }
}

POST _reindex
{
  "source": {
    "index": "gaoyh"
  },
  "dest": {
    "index": "index_test",
    "version_type": "external"
  },
  "script": {
    "source":"if(ctx._source.user=='aaa'){ctx._version++;ctx._source.remove('user')}",
    "lang": "painless"
  }
}

GET index_test/test/_mget
{ "ids":["1","2","3","4","5"] }

响应结果如下：
{
  "docs": [
    {
      "_index": "index_test",
      "_type": "test",
      "_id": "1",
      "_version": 2,
      "found": true,
      "_source": {
        "content": "test"
      }
    },
    {
      "_index": "index_test",
      "_type": "test",
      "_id": "2",
      "_version": 2,
      "found": true,
      "_source": {
        "content": "test"
      }
    },
    {
      "_index": "index_test",
      "_type": "test",
      "_id": "3",
      "_version": 1,
      "found": true,
      "_source": {
        "user": "ccc",
        "content": "test"
      }
    },
    {
      "_index": "index_test",
      "_type": "test",
      "_id": "4",
      "_version": 1,
      "found": true,
      "_source": {
        "user": "bbb",
        "content": "test"
      }
    },
    {
      "_index": "index_test",
      "_type": "test",
      "_id": "5",
      "_version": 1,
      "found": true,
      "_source": {
        "user": "bbb",
        "content": "test"
      }
    }
  ]
}
即：索引gaoyh中user为aaa的文档被脚本删除user字段后并增加版本号后复制到新索引index_test中，索引gaoyh中的文档内容不变。

小结：
与_update_by_query一样，你可以通过设置 ctx.op 更改在目标索引上执行的操作：
  • noop
设置 ctx.op = "noop" ，则符合脚本内容的文档将不会被编入目标索引（即不会复制到新索引中）；响应结果中会在响应正文（response body）中的noop counter中报告出来；
  • delete
设置 ctx.op = "noop" ，则符合脚本内容的文档会在目标索引中删除；响应结果中会在响应正文（response body）中的deleted counter中报告出来；
  • 其他
设置 ctx.op为其他任何内容都将返回错误，就像在ctx中设置任何其他字段一样。

你可以改变：_id , _type , _index , _version , _routing ；

设置 _version 为 null 或从 ctx 地图中清除它，相当于发送的索引请求中不包含版本信息，这将导致目标索引中的文档被覆盖重写，不管文档在目标索引上的版本或您在 _reindex 请求中使用的版本类型如何。（虽然设置 ctx._version=null，但是复制到目标索引中的文档的版本号和旧索引中原文档的版本号一样，不会置零）

默认情况下，如果 _reindex 查看带有路由的文档，则除非脚本更改了路由，否则将保留路由。您可以 routing 根据  dest 请求设置更改此设置：
  • keep
将针对每个匹配发送的批量请求的路由设置为匹配上的路由。这是默认值；
  • discard
设置为每个匹配发送的批量请求的路由为 null ；
  • =<some text>
将针对每个匹配发送的批量请求的路由设置为=之后的文本。

例如，您可以使用以下请求将 source 索引中包含公司名称为cat的所有文档复制到路由设置为cat的索引dest中 ： 
POST _reindex
{
  "source": {
    "index": "source",
    "query": {
      "match": {
        "company": "cat"
      }
    }
  },
  "dest": {
    "index": "dest",
    "routing": "=cat"
  }
}
重新索引以更改字段名称
_reindex 可用于构建具有重命名字段的索引副本。

假设您创建一个包含如下所示文档的索引： 
POST test/_doc/1?refresh
{
  "text": "words words",
  "flag": "foo"
}
但你不喜欢这个名字 flag ，想要用它替换它 tag 。  _reindex 可以为您创建其他索引： 
POST _reindex
{
  "source": {
    "index": "test"
  },
  "dest": {
    "index": "test2"
  },
  "script": {
    "source": "ctx._source.tag = ctx._source.remove(\"flag\")"
  }
}

GET test2/_doc/1

return：

{
  "found": true,
  "_id": "1",
  "_index": "test2",
  "_type": "_doc",
  "_version": 1,
  "_source": {
    "text": "words words",
    "tag": "foo"
  }
}
Reindex from Remote
从远程索引
Reindex支持从远程Elasticsearch集群重建索引： 
POST _reindex
{
  "source": {
    "remote": {
      "host": "http://otherhost:9200",
      "username": "user",
      "password": "pass"
    },
    "index": "source",
    "query": {
      "match": {
        "test": "data"
      }
    }
  },
  "dest": {
    "index": "dest"
  }
}
该 host 参数必须包含方案，主机和端口（例如  https://otherhost:9200 ）。的 username 和 password 参数是可选的，并且当它们存在时 _reindex 将连接到使用基本认证远程Elasticsearch节点。 https 使用基本身份验证时一定要使用，否则密码将以纯文本形式发送。
URL参数
除了标准参数等 pretty ，重新索引API还支持 refresh ， wait_for_completion ， wait_for_active_shards ， timeout ，  scroll 和 requests_per_second 。

发送 refresh url参数将导致刷新请求所写的所有索引。这与Index API的 refresh  参数不同，后者仅导致接收新数据的分片被刷新。
如果请求包含， wait_for_completion=false 则Elasticsearch将执行一些预检检查，启动请求，然后返回 task  可与 Tasks API  一起使用的取消或获取任务状态的请求。Elasticsearch还将创建此任务的记录作为文档 .tasks/task/${taskId} 。这是你的保留或删除你认为合适。完成后，删除它，以便Elasticsearch可以回收它使用的空间。
wait_for_active_shards 控制在继续重建索引之前必须激活碎片的副本数量。详情请见 此处  。 timeout 控制每个写入请求等待不可用分片变为可用的时间。两者都完全适用于  Bulk API中的工作方式 。由于 _reindex 采用滚动搜索，你还可以指定 scroll 参数来控制多长时间保持“搜索上下文”活着，（例如 ?scroll=10m ）。默认值为5分钟。

Reindex是使用批处理实现的，任何故障都会导致整个进程中止，但当前批处理中的所有故障都会被收集到数组中。您可以使用该 conflicts 选项来防止reindex在版本冲突中中止。


切片

重新索引多个索引

Reindex每日指数













qingmou_csdn
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ElasticSearch 6.3版本 Document APIs之Bulk API
qingmou_csdn 的博客
07-13 556
Bulk API声明：本文根据ES官方文档进行翻译与总结而得。转载请注明作者：https://blog.csdn.net/qingmou_csdn批量API使得在单个API调用中执行许多索引/删除操作成为可能。这可以大大提高索引速度DELETE gaoyh POST _bulk {"index":{"_index":"gaoyh","_type":"test","_id":"1
Elasticsearch6.4专题之9:Document APIs
天空之蓝的博客
11-13 733
Document APIs 文章目录Document APIsReading and Writing documentsBasic write modelFailure handlingBasic read modelFailure handlingA few simple implicationsEfficient readsRead unacknowledgedTwo copies by de...
elasticsearch使用reindex重建索引
weixin_41029286的博客
05-09 636
创建索引以后，索引的设定和很多固定配置将不能改变，如果需要改变数据结构就需要重建索引 Elasticsearch v6.3.1以后支持Reindex API重建索引 已有索引库book和book_new book为源索引，book_new为目标索引 整个过程为book重建索引到book_new 如果不手动创建book_new的mapping信息，elasticsearch将自动映射数据类型 POST _reindex { "source": { "index": "book" }, "d
ElasticSearch索引复制Reindex
学无止境，永不停歇
12-17 736
环境： 阿里云ElasticSearch6.7 情景： ElasticSearch的索引mapping由于不满足生产需求，需要重建mapping 例如：将字段dt 的数据类型由 keyword 改成 long 类型 实现方法： 原索引mapping PUT /ads_lading_trade_detail_es?pretty { "settings": { "index": { "number_of_shards": "6", "blocks": {
ES索引重建reindex详解_es _reindex，2024年最新2024最新阿里大数据开发高级面试题总结
最新发布
2401_84160041的博客
04-13 828
官方reindex说明地址reindex 为 ES 5.X 版本之后提供的数据迁移功能，不需要额外安装，支持同集群索引迁移和跨集群索引迁移。要求源端索引的元字段 _source 是打开的，默认就是打开的。reindex 过程并不会自动将源端索引的设置拷贝到目标索引，所以需要事先在目标集群（源集群和目标集群可以是同一个集群）中按照源端索引的表结构建立好目标索引。
【Elasticsearch索引】ReIndex重建索引
qq_44849679的博客
10-08 5360
就像update_by_query一样，reindex获取源索引的快照，但是它的目标必须是一个不同的索引，这样就不太可能出现版本冲突。比修改值大的requests_per_second将立即生效，而修改值小的requests_per_second将在完成当前批处理后生效。除了像pretty这样的标准参数外，Reindex还支持refresh、wait_for_completion、wait_for_active_shards、timeout、scroll和requests_per_second。
9、Elasticsearch使用reindex做数据迁移
小确幸的博客
07-24 4422
reindex ，是将数据从一个 index 移动到另一个 index 的过程。我们知道，当一个索引能够写入文档时，就意味着该索引的 shard 分片，mapping 等结构不能再被修改了，而有时候却需要调整索引的结构。
elasticsearch6.3版本破解x-pack
07-12
jdbc连接elasticsearch，需要破解版本为白金，只需要下载后替换掉原来的jar包，在导入license就ok
elasticsearch-6.3.0-API文档-中文版.zip
06-25
赠送原API文档：elasticsearch-6.3.0-javadoc.jar； 赠送源代码：elasticsearch-6.3.0-sources.jar； 赠送Maven依赖信息文件：elasticsearch-6.3.0.pom； 包含翻译后的API文档：elasticsearch-6.3.0-javadoc-API文档...
reindex-client-5.5.1-API文档-中英对照版.zip
04-22
标签：elasticsearch、plugin、reindex、client、jar包、java、API文档、中英对照版； 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档内容。 人性化翻译，文档中的代码和结构保持...
Elasticsearch5.x Java API手册
06-14
Elasticsearch 5.x 版本的 Java API 手册是开发者进行 Elasticsearch 相关开发的重要参考资料。Elasticsearch 是一个流行的开源全文搜索引擎，广泛应用于数据检索、分析和实时数据存储。Java API 提供了与 Elastic...
es6.3.tar.gz
11-15
Elasticsearch 6.3是在2018年发布的一个维护版本，它在6.x系列中引入了对Linux系统的支持，确保在各种Linux环境下稳定运行。这个版本主要是对前一版本的bug修复和性能提升，同时保持向后兼容性。 2. **主要特性** ...
Elasticsearch: Reindex 接口
Elastic 中国社区官方博客
09-04 3135
在我们开发的过程中，我们有很多时候需要用到Reindex接口。它可以帮我们把数据从一个index到另外一个index进行重新reindex。这个对于特别适用于我们在修改我们数据的mapping后，需要重新把数据从现有的index转到新的index建立新的索引，这是因为我们不能修改现有的index的mapping一旦已经定下来了。在接下来的介绍中，我们将学习如何使用reindex接口。 为了.........
ElasticSearch数据迁移之Reindex
ChengYanan的博客
10-22 1742
应用背景： 当你的数据量过大，而你的索引最初创建的分片数量不足，导致数据入库较慢的情况，此时需要扩大分片的数量，此时可以尝试使用Reindex。 当数据的mapping需要修改，但是大量的数据已经导入到索引中了，重新导入数据到新的索引太耗时；但是在ES中，一个字段的mapping在定义并且导入数据之后是不能再修改的， 所以这种情况下也可以考虑尝试使用Reindex。 Reindex： ES提供...
【Elasticsearch】小白实战！ES使用Reindex迁移数据
Your_Boy_Tt的博客
11-01 4008
ES 数据迁移，Reindex 迁移亿级数据；Linux 角色添加到 root；kibana 对外访问设置
ES数据库重建索引—Reindex详解
lixinkuan的博客
10-09 1380
2、当数据的mapping需要修改，但是大量的数据已经导入到索引中了，重新导入数据到新的索引太耗时；1）用过Scroll接口吧，很慢？1、当你的数据量过大，而你的索引最初创建的分片数量不足，导致数据入库较慢的情况，此时需要扩大分片的数量，此时可以尝试使用Reindex。2）每个Scroll请求，可以分成多个Slice请求，可以理解为切片，各Slice独立并行，利用Scroll重建或者遍历要快很多倍。3）如果这个slices数字很大(例如500)，建议选择一个较低的数字，因为过大的slices 会影响性能。
elasticsearch reindex步骤
QYHuiiQ
06-22 3162
1.从old-cluster中查出template，然后在new-cluster中导入template： curl -X PUT "http://new-ip:9200/_template/template_name" -H "Content-Type: application/json" -d 'template内容' 2.创建index： curl -X PUT "http://new-ip:9200/index_name" 3.按照官方指导将refresh_interval设置为-1，nu
ElasticSearch:Reindex数据迁移使用
Sunny的专栏
08-24 1416
一、前言 ES在创建好索引后，mapping的properties属性类型是不能更改的，只能添加。如果说需要修改字段就需要重新建立索引然后把旧数据导到新索引。 二、Reindex 5.X版本后新增_reindexAPI 。Reindex可以直接在Elasticsearch集群里面对数据进行重建。并且支持跨集群间的数据迁移。 三、实战 1、原索引 比如我现在有这么一个索引:topic，mapping信息如下： { "settings": { "number...
es 多条件查询_ES6.3版本踩坑之路整型字段慢查询导致CPU负载飙升
06-12
您好，这是一个关于 Elasticsearch 的问题。我会尽力回答您的问题，但是需要您提供更具体的信息。 首先，多条件查询可以使用 Elasticsearch 的 bool 查询来实现。bool 查询可以通过 must、must_not、should、filter...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值