ElasticSearch索引复制Reindex

最新推荐文章于 2024-07-10 17:31:28 发布
最新推荐文章于 2024-07-10 17:31:28 发布
阅读量795 收藏 2
点赞数 1
分类专栏： ElasticSearch 文章标签： elasticsearch 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41878532/article/details/111313508
版权

环境： 阿里云ElasticSearch6.7
情景： ElasticSearch的索引mapping由于不满足生产需求，需要重建mapping

例如：将字段dt 的数据类型由 keyword 改成 long 类型

实现方法：

  1. 原索引mapping
PUT /ads_lading_trade_detail_es?pretty
{
  "settings": {
    "index": {
      "number_of_shards": "6",
      "blocks": {
        "read_only_allow_delete": "false"
      },
      "analysis": {
        "normalizer": {
          "my_normalizer": {
            "filter": [
              "lowercase",
              "asciifolding"
            ],
            "type": "custom",
            "char_filter": []
          }
        }
      },
      "number_of_replicas": "0"
    }
  },
  "mappings": {
    "_doc": {
      "properties": {
        "trade_id": {
          "type": "keyword"
        },
        "by_date": {
          "type": "date"
        },
        "importer_clean_name": {
          "fielddata": true,
          "type": "text",
          "fields": {
            "keyword": {
              "type": "keyword"
            }
          }
        },
        "importer_id": {
          "type": "long"
        },
        "importer_connect_id": {
          "type": "long"
        },
        "is_importer_logistics": {
          "type": "keyword"
        },
        "exporter_clean_name": {
          "fielddata": true,
          "type": "text",
          "fields": {
            "keyword": {
              "type": "keyword"
            }
          }
        },
        "exporter_id": {
          "type": "long"
        },
        "exporter_connect_id": {
          "type": "long"
        },
        "is_exporter_logistics": {
          "type": "keyword"
        },
        "hscode": {
          "fielddata": true,
          "type": "text",
          "fields": {
            "keyword": {
              "normalizer": "my_normalizer",
              "ignore_above": 20,
              "type": "keyword"
            }
          }
        },
        "prod_desc": {
          "analyzer": "english",
          "type": "text"
        },
        "exporter_country": {
          "type": "keyword"
        },
        "exporter_province": {
          "type": "keyword"
        },
        "exporter_city": {
          "type": "keyword"
        },
        "exporter_district": {
          "type": "keyword"
        },
        "is_china_exporter": {
          "type": "integer"
        },
        "product_unit_vl_ot": {
          "type": "double"
        },
        "product_unit_vl": {
          "type": "double"
        },
        "product_vl_ot": {
          "type": "double"
        },
        "product_vl": {
          "type": "double"
        },
        "country": {
          "type": "keyword"
        },
        "dt": {
          "type": "keyword"
        }
      }
    }
  }
}
  1. 建立字段类型修改后的索引
PUT /ads_lading_trade_detail_es_v2?pretty
{
  "settings": {
    "index": {
      "number_of_shards": "6",
      "blocks": {
        "read_only_allow_delete": "false"
      },
      "analysis": {
        "normalizer": {
          "my_normalizer": {
            "filter": [
              "lowercase",
              "asciifolding"
            ],
            "type": "custom",
            "char_filter": []
          }
        }
      },
      "number_of_replicas": "0"
    }
  },
  "mappings": {
    "_doc": {
      "properties": {
        "trade_id": {
          "type": "keyword"
        },
        "by_date": {
          "type": "date"
        },
        "importer_clean_name": {
          "fielddata": true,
          "type": "text",
          "fields": {
            "keyword": {
              "type": "keyword"
            }
          }
        },
        "importer_id": {
          "type": "long"
        },
        "importer_connect_id": {
          "type": "long"
        },
        "is_importer_logistics": {
          "type": "keyword"
        },
        "exporter_clean_name": {
          "fielddata": true,
          "type": "text",
          "fields": {
            "keyword": {
              "type": "keyword"
            }
          }
        },
        "exporter_id": {
          "type": "long"
        },
        "exporter_connect_id": {
          "type": "long"
        },
        "is_exporter_logistics": {
          "type": "keyword"
        },
        "hscode": {
          "fielddata": true,
          "type": "text",
          "fields": {
            "keyword": {
              "normalizer": "my_normalizer",
              "ignore_above": 20,
              "type": "keyword"
            }
          }
        },
        "prod_desc": {
          "analyzer": "english",
          "type": "text"
        },
        "exporter_country": {
          "type": "keyword"
        },
        "exporter_province": {
          "type": "keyword"
        },
        "exporter_city": {
          "type": "keyword"
        },
        "exporter_district": {
          "type": "keyword"
        },
        "is_china_exporter": {
          "type": "integer"
        },
        "product_unit_vl_ot": {
          "type": "double"
        },
        "product_unit_vl": {
          "type": "double"
        },
        "product_vl_ot": {
          "type": "double"
        },
        "product_vl": {
          "type": "double"
        },
        "country": {
          "type": "keyword"
        },
        "dt": {
          "type": "long"
        }
      }
    }
  }
}
  1. 将老数据迁移至新数据
    POST _reindex
    {
      "source": {
        "index": "ads_lading_trade_detail_es"
      },
      "dest": {
        "index": "ads_lading_trade_detail_es_v2"
      }
    }
  1. 同时我们可以对Reindex执行过程做一些限制操作

Reindex是一个时间点的副本
就像上面返回的结果显示的那样，它是以batch（批量）的方式来执行的。默认的批量大小为1000
你也可以只拷贝源index其中的一部分数据
通过加入query到source中
通过定义max_docs参数

比如：

    POST _reindex
    {
      "max_docs": 100,
      "source": {
        "index": "ads_lading_trade_detail_es",
        "query": {
          "match": {...}
        }
      },
      "dest": {
        "index": "ads_lading_trade_detail_es_v2"
      }
    }

Throttling
重新索引大量文档可能会使您的群集泛滥甚至崩溃。requests_per_second限制索引操作速率。

    POST _reindex?requests_per_second=500 
    {
      "source": {
        "index": "ads_lading_trade_detail_es",
        "size": 500
      },
      "dest": {
        "index": "ads_lading_trade_detail_es_v2"
      }
    }

参考文献：
【1】、https://www.cnblogs.com/sanduzxcvbnm/p/12084714.html
【2】、https://www.elastic.co/guide/en/elasticsearch/reference/6.7/docs-reindex.html

寄语：分享是一种乐趣，你知道的越多，你知道的越少。

渊云
关注
专栏目录
【elasticsearch】ES数据库重建索引 -- Reindex(数据迁移)
九师兄
10-07 1万+
转载：https://www.cnblogs.com/Ace-suiyuan008/p/9985249.html 1.应用背景： 1、当你的数据量过大，而你的索引最初创建的分片数量不足，导致数据入库较慢的情况，此时需要扩大分片的数量，此时可以尝试使用Reindex。 2、当数据的mapping需要修改，但是大量的数据已经导入到索引中了，重新导入数据到新的索引太耗时；但是在ES中，一个字段的mapping在定义并且导入数据之后是不能再修改的， 所以这种情况下也可以考虑尝试使用Reindex。 2.Reind.
Elasticsearch学习（二十三）索引 Clone 和 ReIndex
码易的博客
05-21 1110
目录前言一、索引Clone1、创建连接2、创建索引3、创建映射4、实体类5、写入数据6、索引 Clone7、查询新索引二、索引 ReIndex1、示例2、查询新索引三、总结 前言 索引 Clone 和 ReIndex 可以用于 es 数据的复制、备份，本文简单测试 Clone 和 ReIndex 的使用。 一、索引Clone 首先搭建 es 服务，可参考之间的博客。下面通过示例测试 es 索引的克隆 1、创建连接 这里使用的时elasticsearch8，连接方式是用户名密码 + 证书的方式 publi
elasticsearch 索引复制 数据
kwame211的博客
11-07 809
http://localhost:9200/_reindex {   "source": {     "index": "old_index"   },   "dest": {     "index": "new_index",     "op_type": "create"   } }
Elasticsearch复制索引
最新发布
qq_44848009的博客
07-10 277
可能版本语法问题，若上述不生效，尝试下面这个。1，复制前需要禁止原索引写入数据。
elasticsearch数据复制
qq_32457341的博客
09-20 2861
elasticsearch可以实现秒级别查询，其查询的方式和sql很相似，本博客主要是讲一下es怎么实现表中的数据复制，即将一个索引复制到另一个索引当中； es版本：5.4.2 实现索引复制的原因：生产上所建的es需要进行修改，但es中已有相当一部分数据，这部分数据必须先备份之后，方能重建索引，再进行数据复制； 具体实现步骤： (1)假设原始在es上的索引被称为indexname1，这里需要创建的索引被称为indexname2；首先我们创建新的index2； 我们使用的是大数据hive，每天都会将hive上
Elasticsearch _reindex Alias使用
赵英超的博客
06-27 2410
ES数据库重建索引——Reindex(数据迁移) 应用背景： 1、当你的数据量过大，而你的索引最初创建的分片数量不足，导致数据入库较慢的情况，此时需要扩大分片的数量，此时可以尝试使用Reindex。 2、当数据的mapping需要修改，但是大量的数据已经导入到索引中了，重新导入数据到新的索引太耗时；但是在ES中，一个字段的mapping在定义并且导入数据之后是不能再修改的， 所以这种情况下...
elasticsearch篇之mapping
热门推荐
lyzkks的博客
05-17 4万+
什么是mapping mapping是类似于数据库中的表结构定义，主要作用如下： 定义index下的字段名 定义字段类型，比如数值型、浮点型、布尔型等 定义倒排索引相关的设置，比如是否索引、记录position等 查看mapping GET /[index_name]/_mapping 其中 keyword表示部分次的字符串类型 自定义mapping ...
es-reindex:Ruby脚本复制ElasticSearch索引（重新索引）
03-26
es-reindex-用于复制ElasticSearch索引的简单ruby脚本 简单的ruby脚本，用于复制和重新索引ElasticSearch索引，复制索引设置和映射。 在滚动过程中将显示进度和时间估计。 要求 需要Ruby 1.8.6或更高版本，为方便...
Elasticsearch重建索引reindex操作
命中注定丶的博客
02-23 1045
重建索引，最简单直接的办法：POST _reindex { "source": { "index": "my_test_index" }, "dest": { "index": "my_test_reindex" } }
elasticsearch 基础 —— ReIndex
gmHappy
09-17 2万+
Reindex会将一个索引的数据复制到另一个已存在的索引，但是并不会复制原索引的mapping（映射）、shard（分片）、replicas（副本）等配置信息。 一、reindex的常用操作 1、reindex基础实现     _reindex会将一个索引的快照数据copy到另一个索引，默认情况下存在相同的_id会进行覆盖（一般不会发生，除非是将两个索引的数据copy到一个索引中），可以使用...
ElasticSearch 入门补充-关于索引数据拷贝
楚景华
06-14 540
刚刚使用es，按照要求创建一个索引：http://ip:9200/person_v1
（实战）1：用reindex实现es的索引数据迁移复制
weixin_43930865的博客
11-29 1683
用reindex实现es的索引数据迁移复制 索引的增删改查 文章目录用reindex实现es的索引数据迁移复制1：使用场景2：操作步骤步骤1：新建索引步骤2：复制数据 1：使用场景 1：在我们实战中可能发现我们创建的索引的mapping不满足我们的需求，但是mapping是不能更新的 2：:分片数据量太大,分片数不足导致我们的数据写入以及查询都非常慢 2：操作步骤 因为reindex的API不会复制旧索引的setting以及mapping，所以我们在使用前必须为新建的索引设置自己的mapping以及sett
ElasticSearch 复制数据到新的 索引中 copy data to new index
kongzilaile的博客
03-23 7719
问题：index一旦建立后，无法再修改内部的setting、mapping ，所以只能通过新建备份index，再把data copy过去，然后再把原来的删了，重新建立全新的index首先需要安装一个插件elasticsearch-dump  参考官网：https://github.com/taskrabbit/elasticsearch-dump新建一个修改后的 index 然后通过dump命令同...
Elasticsearch 复制创建索引
lbyd2016的博客
07-08 3554
背景： 因搭建新的ES集群、需把原有的索引创建复制到新的上面。 一、查询旧的索引库的 settings、mapping结构： test为示例索引 GET url/test/_mapping GET url/test/_settings?pretty 二、创建新的索引库： 创建索引的同时，一并将索引的类型、以及映射创建。 请求： PUT "url/test?pretty" 根据之前查询出来的set...
es复制索引和数据
tanguomin的博客
07-24 2230
elasticsearch 复制索引 复制索引： post _reindex { "source": { "index": "i_alarm_count" }, "dest": { "index": "blog" } } 返回值： { "took": 19, "timed_out": false, "total": 9, "updated": 9, "created": 0, "deleted": 0, "batches": 1, "version_confli...
elasticsearch 索引复制（含数据）
07-13 1092
确保elasticsearch version 2.x 苦逼的等了几年 POST http://localhost:9200/_reindex { "source": { "index": "index_test_001" }, "dest": { "index":...
elasticsearch使用reindex重建索引
weixin_41029286的博客
05-09 679
创建索引以后，索引的设定和很多固定配置将不能改变，如果需要改变数据结构就需要重建索引 Elasticsearch v6.3.1以后支持Reindex API重建索引 已有索引库book和book_new book为源索引，book_new为目标索引 整个过程为book重建索引到book_new 如果不手动创建book_new的mapping信息，elasticsearch将自动映射数据类型 POST _reindex { "source": { "index": "book" }, "d
【Elasticsearch索引】ReIndex重建索引
qq_44849679的博客
10-08 5780
就像update_by_query一样，reindex获取源索引的快照，但是它的目标必须是一个不同的索引，这样就不太可能出现版本冲突。比修改值大的requests_per_second将立即生效，而修改值小的requests_per_second将在完成当前批处理后生效。除了像pretty这样的标准参数外，Reindex还支持refresh、wait_for_completion、wait_for_active_shards、timeout、scroll和requests_per_second。
【F2C】elasticsearc/elk/es——复制粘贴索引内容/重命名索引
KANITAN___的博客
02-16 8603
es需要重命名索引时，最直接的办法是将需要更名的索引内容复制粘贴到一个新的索引中 POST localhost:9200/_reindex { "source": { "index": "old_indexName" }, "dest": { "index": "new_IndexName" } } 再删除原来的索引 DELETE localhost:92
elasticsearch reindex是按照索引执行的嘛
06-14
是的，Elasticsearch `_reindex` API 是按照索引来执行的。具体来说，你需要指定源索引和目标索引，然后 Elasticsearch 会将源索引中的数据复制到目标索引中。如果源索引中有多个分片，Elasticsearch 会在目标索引中创建相同数量的分片，从而保证数据的均衡性和并发性。 在执行 `_reindex` 操作时，你可以指定多个源索引，以将多个索引中的数据合并到一个目标索引中。例如，下面的请求将同时从两个索引 `source_index_1` 和 `source_index_2` 中复制数据到目标索引 `target_index` 中： ``` POST _reindex { "source": { "index": ["source_index_1", "source_index_2"] }, "dest": { "index": "target_index" } } ``` 需要注意的是，如果源索引和目标索引位于不同的 Elasticsearch 集群中，你需要使用 Elasticsearch 的跨集群复制功能来执行 `_reindex` 操作。具体来说，你需要在源集群和目标集群之间建立一个复制连接，并且在 `_reindex` 请求中指定目标集群的地址和认证信息。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值