ES reindex 实战

已于 2023-05-21 16:49:25 修改
阅读量859 收藏 1
点赞数
文章标签： elasticsearch 5G 大数据 搜索引擎
于 2023-05-21 16:35:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010597819/article/details/130793391
版权

机器配置

Data nodes：i3.4xlarge.search * 3     16C 122G
master nodes：c5.2xlarge.search * 3    8C 16G

案例1-kafka

kafka consumer tps = 18k qps
bulk request batch size = 100 （程序单线程等待100个消息到达后提交，因此系统的吞吐量与batch无关）
数据量（cat命令）：

green  open   admin_operate_log_v1_2021       1   0        432            0    183.9kb        183.9kb
green  open   admin_operate_log_v1_2022       1   0   38855695            0     10.9gb         10.9gb
green  open   admin_operate_log_v1_2023       1   0   15996192            0      4.5gb          4.5gb

索引配置

"settings": {
        "index": {
            "refresh_interval": "-1",
            "number_of_shards": "1",
            "number_of_replicas": "0"
        }
    }

ES负载

cpu： 写入期间<=49%，写入完成后短暂峰值：68-72%
内存：73%左右
截屏2023-05-11 22.33.15.png

性能

耗时：55-60分钟左右

案例2-reindex

数据量

healthstatusindexuuidprirepdocs.countdocs.deletedstore.sizepri.store.size
greenopenuser_operation_log_v1_202211F7qtS9A3QxCFlIiZ8vCB0Q21647144705.3gb2.6gb
greenopenuser_operation_log_v1_2022109MWtw90pTLes7ZzsDo5zxw21547969804.3gb2.1gb
greenopenadmin_operate_log_v1_2021cxmLz54CR2C2eQkWcftGdw104320183.9kb183.9kb
greenopenadmin_operate_log_v1_2022mD9B3fY3T5moY2iMoSJ6rA1038855695010.9gb10.9gb
greenopenadmin_operate_log_v1_2023Q8umgdzcR1idQncdPnUCbA101599619204.5gb4.5gb
greenopenuser_operation_log_v1_2022129Bo4HkB1T_G8oiOiJVcDow21571470704.6gb2.3gb
greenopenuser_operation_log_v1_2022088jMbqQPIQT-GI67lo72Xbg21507047105gb2.5gb
greenopenuser_operation_log_v1_202207ppYBaM3NQkaPBkZowXqbdA21525329005.1gb2.5gb
greenopenuser_operation_log_v1_202206A12fRvkhTOCcI12QPCzbxw21549914605.6gb2.8gb
greenopenuser_operation_log_v1_202305ltM-SbzaQkaEmqVmV84iEQ211659596501.1gb583mb
greenopenuser_operation_log_v1_2023040W9kvl-jTlWizYltRq4yGQ217589405444.7gb2.3gb
greenopenuser_operation_log_v1_202205KzLscm-gRSq-v7aps96M4Q21734302007.5gb3.7gb
greenopenuser_operation_log_v1_202209DDMTU6mVTn-uF1NZPJ-x4Q21469902204.3gb2.1gb
greenopenuser_operation_log_v1_202303f13sJ9wyRxagWYOCK0t07w21769829605gb2.5gb
greenopentoken_sale_v1K7FFK24FSWi1oKlXrRuBug31115722550.2kb275.1kb
greenopenuser_operation_log_v1_202204grbxxC5iQie3ADnnyE5Erw21828801908.3gb4.1gb
greenopenuser_operation_log_v1_202302oDOUznF5QKGgTmetRv2uRA21679759604.4gb2.2gb
greenopenuser_operation_log_v1_202203aJLU9fhzT3uCNf2wVdb3Gw219291234011.3gb5.6gb
greenopen.kibana_1ErpcRNskT_-GLNVpeQd-1A111010.1kb5kb
greenopenuser_operation_log_v1_202301BqpOEoDTTO2ue-uDfjUoCA2161036531529254.2gb2.1gb
greenopenuser_operation_log_v1_202202d9VaDToWSs2qbdyxJyDvdg219415513012gb6gb
greenopenuser_operation_log_v1_202201FahUyKbeTYK_zYYc_UhofQ2111594662015.4gb7.7gb

索引配置

es_host='https://my_es_host'
indices=(user_operation_log_v1_202301 user_operation_log_v1_202302)

curl --location --request POST "${es_host}/_template/user_operation_log_template_v2" \
--header 'Content-Type: application/json' \
--data-raw '{
  "order": 0,
  "index_patterns": [
    "user_operation_log_v2*"
  ],
  "mappings": {
    "dynamic": "false",
    "properties": {
      "user_id": {
        "type": "long"
      },
      "operation": {
        "type": "keyword",
        "normalizer": "caseSensitive"
      },
      "real_ip": {
        "type": "keyword"
      },
      "full_ip": {
        "type": "keyword"
      },
      "client_type": {
        "type": "keyword",
        "normalizer": "caseSensitive"
      },
      "version_code": {
        "type": "keyword",
        "index": false
      },
      "apikey": {
        "type": "keyword",
        "index": false
      },
      "user_agent": {
        "type": "keyword",
        "index": false
      },
      "request_time": {
        "type": "long"
      },
      "response_time": {
        "type": "long",
        "index": false
      },
      "request": {
        "type": "text"
      },
      "response": {
        "type": "text"
      },
      "response_status": {
        "type": "keyword",
        "normalizer": "caseSensitive"
      }
    }
  },
  "settings": {
    "index": {
      "refresh_interval" : "-1",
      "number_of_shards": "2",
      "number_of_replicas": "0"
    },
    "analysis": {
      "normalizer": {
        "caseSensitive": {
          "filter": "lowercase",
          "type": "custom"
        }
      }
    }
  },
  "aliases": {
    "user_operation_log_v2": {}
  }
}'

for((i=0;i<${#indices[*]};i++));do
  target_index=${indices[i]/v1/v2};
  message="source = ${indices[i]}, target = ${target_index}";
  echo "${message}"
  start=$(date +"%s")
  curl -HContent-Type:application/json -XPOST "${es_host}/_reindex?slices=2&requests_per_second=-1&wait_for_completion=false&pretty" -d'{
    "source": {
      "index": "'${indices[i]}'"
      ,"size": 5000
    },
    "dest": {
      "index": "'${target_index}'"
    }
  }'
  end=$(date +"%s")
  echo "${message} cost `expr $end - $start` seconds"
done

ES负载

截屏2023-05-11 14.26.56.png

性能

耗时：10分钟左右

第一次提交2个索引reindex
{
  "completed": true,
  "task": {
    "node": "b8mpzb7ARLau_iJVU4fkmg",
    "id": 246335488,
    "type": "transport",
    "action": "indices:data/write/reindex",
    "status": {
      "total": 9415513,
      "updated": 0,
      "created": 9415513,
      "deleted": 0,
      "batches": 1884,
      "version_conflicts": 0,
      "noops": 0,
      "retries": {
        "bulk": 0,
        "search": 0
      },
      "throttled_millis": 0,
      "requests_per_second": -1.0,
      "throttled_until_millis": 0,
      "slices": [
        {
          "slice_id": 0,
          "total": 4708452,
          "updated": 0,
          "created": 4708452,
          "deleted": 0,
          "batches": 942,
          "version_conflicts": 0,
          "noops": 0,
          "retries": {
            "bulk": 0,
            "search": 0
          },
          "throttled_millis": 0,
          "requests_per_second": -1.0,
          "throttled_until_millis": 0
        },
        {
          "slice_id": 1,
          "total": 4707061,
          "updated": 0,
          "created": 4707061,
          "deleted": 0,
          "batches": 942,
          "version_conflicts": 0,
          "noops": 0,
          "retries": {
            "bulk": 0,
            "search": 0
          },
          "throttled_millis": 0,
          "requests_per_second": -1.0,
          "throttled_until_millis": 0
        }
      ]
    },
    "description": "reindex from [user_operation_log_v1_202202] to [user_operation_log_v2_202202][_doc]",
    "start_time_in_millis": 1683784030867,
    "running_time_in_nanos": 447756932234,
    "cancellable": true,
    "headers": {
      
    }
  },
  "response": {
    "took": 447740,
    "timed_out": false,
    "total": 9415513,
    "updated": 0,
    "created": 9415513,
    "deleted": 0,
    "batches": 1884,
    "version_conflicts": 0,
    "noops": 0,
    "retries": {
      "bulk": 0,
      "search": 0
    },
    "throttled": "0s",
    "throttled_millis": 0,
    "requests_per_second": -1.0,
    "throttled_until": "0s",
    "throttled_until_millis": 0,
    "slices": [
      {
        "slice_id": 0,
        "total": 4708452,
        "updated": 0,
        "created": 4708452,
        "deleted": 0,
        "batches": 942,
        "version_conflicts": 0,
        "noops": 0,
        "retries": {
          "bulk": 0,
          "search": 0
        },
        "throttled": "0s",
        "throttled_millis": 0,
        "requests_per_second": -1.0,
        "throttled_until": "0s",
        "throttled_until_millis": 0
      },
      {
        "slice_id": 1,
        "total": 4707061,
        "updated": 0,
        "created": 4707061,
        "deleted": 0,
        "batches": 942,
        "version_conflicts": 0,
        "noops": 0,
        "retries": {
          "bulk": 0,
          "search": 0
        },
        "throttled": "0s",
        "throttled_millis": 0,
        "requests_per_second": -1.0,
        "throttled_until": "0s",
        "throttled_until_millis": 0
      }
    ],
    "failures": [
      
    ]
  }
}
-
{
  "completed": true,
  "task": {
    "node": "BrXZu22XQfi94P1l5ErOwA",
    "id": 168840526,
    "type": "transport",
    "action": "indices:data/write/reindex",
    "status": {
      "total": 9291234,
      "updated": 0,
      "created": 9291234,
      "deleted": 0,
      "batches": 1859,
      "version_conflicts": 0,
      "noops": 0,
      "retries": {
        "bulk": 0,
        "search": 0
      },
      "throttled_millis": 0,
      "requests_per_second": -1.0,
      "throttled_until_millis": 0,
      "slices": [
        {
          "slice_id": 0,
          "total": 4642972,
          "updated": 0,
          "created": 4642972,
          "deleted": 0,
          "batches": 929,
          "version_conflicts": 0,
          "noops": 0,
          "retries": {
            "bulk": 0,
            "search": 0
          },
          "throttled_millis": 0,
          "requests_per_second": -1.0,
          "throttled_until_millis": 0
        },
        {
          "slice_id": 1,
          "total": 4648262,
          "updated": 0,
          "created": 4648262,
          "deleted": 0,
          "batches": 930,
          "version_conflicts": 0,
          "noops": 0,
          "retries": {
            "bulk": 0,
            "search": 0
          },
          "throttled_millis": 0,
          "requests_per_second": -1.0,
          "throttled_until_millis": 0
        }
      ]
    },
    "description": "reindex from [user_operation_log_v1_202203] to [user_operation_log_v2_202203][_doc]",
    "start_time_in_millis": 1683784030916,
    "running_time_in_nanos": 437625719457,
    "cancellable": true,
    "headers": {
      
    }
  },
  "response": {
    "took": 437607,
    "timed_out": false,
    "total": 9291234,
    "updated": 0,
    "created": 9291234,
    "deleted": 0,
    "batches": 1859,
    "version_conflicts": 0,
    "noops": 0,
    "retries": {
      "bulk": 0,
      "search": 0
    },
    "throttled": "0s",
    "throttled_millis": 0,
    "requests_per_second": -1.0,
    "throttled_until": "0s",
    "throttled_until_millis": 0,
    "slices": [
      {
        "slice_id": 0,
        "total": 4642972,
        "updated": 0,
        "created": 4642972,
        "deleted": 0,
        "batches": 929,
        "version_conflicts": 0,
        "noops": 0,
        "retries": {
          "bulk": 0,
          "search": 0
        },
        "throttled": "0s",
        "throttled_millis": 0,
        "requests_per_second": -1.0,
        "throttled_until": "0s",
        "throttled_until_millis": 0
      },
      {
        "slice_id": 1,
        "total": 4648262,
        "updated": 0,
        "created": 4648262,
        "deleted": 0,
        "batches": 930,
        "version_conflicts": 0,
        "noops": 0,
        "retries": {
          "bulk": 0,
          "search": 0
        },
        "throttled": "0s",
        "throttled_millis": 0,
        "requests_per_second": -1.0,
        "throttled_until": "0s",
        "throttled_until_millis": 0
      }
    ],
    "failures": [
      
    ]
  }
}
第二次提交14个索引reindex

202204-202305
日志过多省略，与第一次提交差别不大

总结

案例1

kafka：tps=18k
文档量：54851887
文档大小：15.4GB
ES节点：单个
耗时：55-60分钟
负载：cpu=50%左右，内存=70%左右

案例2

根据第二次提交的reindex分析
文档量：113968775
文档大小：53.6GB
ES节点：3个
耗时：10分钟
负载：cpu=80%左右，内存=80%左右

正如开头描述的，系统单线程工作瓶颈明显，并发与吞吐量低，优点是限制了单个业务索引（多个物理索引按月分片）资源占用，避免拖垮系统

reindex风险

14个索引reindex的异步任务启动时间如下，可以看到几乎是同时启动的，因此批量操作是要把控并行的数量，slices参数以及size参数的配置，都要事先把控，避免将服务器跑垮

1683785201349 2023-05-11 14:06:41
1683785201371 2023-05-11 14:06:41
1683785201395
1683785201418
1683785201440
1683785201463
1683785201485
1683785201508
1683785201531
1683785201551
1683785201572
1683785201598
1683785201623
1683785201645
太阳伞下的阿呆
关注
es-reindex:Ruby脚本复制ElasticSearch索引（重新索引）
03-26
es-reindex-用于复制ElasticSearch索引的简单ruby脚本 简单的ruby脚本，用于复制和重新索引ElasticSearch索引，复制索引设置和映射。 在滚动过程中将显示进度和时间估计。 要求 需要Ruby 1.8.6或更高版本，为方便起见，请使用 。 通过Gemfile需要以下宝石： [rest-client]（ ） [oj]（ ） 您可以通过bundler在本地安装需求： $ bundle install --path=.bundle 用法 请参阅脚本的帮助： $ ./es-reindex.rb -h Script to copy particular ES index including its (re)creation w/options set and mapping copied. Usage: ./es-reindex.rb [-r]
ES索引重建reindex详解
东境物语
08-09 8326
ES分片数变更、mapping字段变更、分词规则修改等必须重建索引，此时可通过es本身自带的reindex功能进行数据迁移，支持跨索引、跨集群的数据迁移。
【Elasticsearch】小白实战！ES使用Reindex迁移数据
Your_Boy_Tt的博客
11-01 4463
ES 数据迁移，Reindex 迁移亿级数据；Linux 角色添加到 root；kibana 对外访问设置
J-ES-Reindex:用于重新索引 Elasticsearch 索引的 Java 命令行工具
06-13
J-ES-Reindex Java Command Line tool for reindexing Elasticsearch Indices$ java -jar J-ES-Reindex.jar ---------------------------------Elasticsearch Java Reindex tool v0.5------------------------------...
elasticsearch6实战教程资料
11-20
**Elasticsearch 6 实战教程资料概述** Elasticsearch 是一个开源的全文搜索引擎，以其高效、可扩展和实时的数据搜索与分析能力而备受推崇。在版本 6 中，Elasticsearch 进行了一系列的优化和改进，提升了性能，...
reindex-client-6.2.3-API文档-中文版.zip
07-12
标签：elasticsearch、plugin、reindex、client、中文文档、jar包、java； 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档内容。 人性化翻译，文档中的代码和结构保持不变，注释和...
elasticsearch-7.4.0-win64.rar
09-26
Elasticsearch是一个开源的全文搜索引擎，它以分布式、RESTful服务的方式提供快速、高可用、可扩展的数据搜索和分析能力。这个"elasticsearch-7.4.0-win64.rar"压缩包包含了Elasticsearch 7.4.0版本的Windows 64位...
reindex-client-5.5.1-API文档-中文版.zip
05-02
标签：elasticsearch、plugin、reindex、client、jar包、java、中文文档； 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档内容。 人性化翻译，文档中的代码和结构保持不变，注释和...
ES reindex介绍
future_xiaowu的博客
07-28 3242
参考资料： https://gaoming.blog.csdn.net/article/details/82734667 https://www.cnblogs.com/Ace-suiyuan008/p/9985249.html https://www.cnblogs.com/siye1989/p/11561972.html https://www.elastic.co/guide/en/elasticsearch/reference/6.5/docs-reindex.html https://w
ES数据库重建索引—Reindex详解
lixinkuan的博客
10-09 1914
2、当数据的mapping需要修改，但是大量的数据已经导入到索引中了，重新导入数据到新的索引太耗时；1）用过Scroll接口吧，很慢？1、当你的数据量过大，而你的索引最初创建的分片数量不足，导致数据入库较慢的情况，此时需要扩大分片的数量，此时可以尝试使用Reindex。2）每个Scroll请求，可以分成多个Slice请求，可以理解为切片，各Slice独立并行，利用Scroll重建或者遍历要快很多倍。3）如果这个slices数字很大(例如500)，建议选择一个较低的数字，因为过大的slices 会影响性能。
ES索引重建reindex详解_es _reindex，2024年最新2024最新阿里大数据开发高级面试题总结
2401_84160041的博客
04-13 1018
官方reindex说明地址reindex 为 ES 5.X 版本之后提供的数据迁移功能，不需要额外安装，支持同集群索引迁移和跨集群索引迁移。要求源端索引的元字段 _source 是打开的，默认就是打开的。reindex 过程并不会自动将源端索引的设置拷贝到目标索引，所以需要事先在目标集群（源集群和目标集群可以是同一个集群）中按照源端索引的表结构建立好目标索引。
es 的reindex详解
goxingman的博客
12-27 1万+
http://192.168.4.15:9200/_reindex/ POST { "source": { "index": "old_index", "size":1000 //可选，每次批量提交1000个，可以提高效率，建议每次提交5-15M的数据 }, "dest": { "index": "en_law" } } 1、新index不创建mappin...
ES迁移——使用reindex
最新发布
bland107的博客
07-30 621
reindex是ES自带的一个用于迁移数据的api，支持按照分片大小进行分次迁移。远程迁移时要针对ES的配置文件进行修改。因为设备资源的不足，需要将旧业务平台迁移到性能更好的服务器上。相应的ES数据作为业务详情的来源也必须一起迁移。其中size需要根据一条数据大小进行设置，如果数据偏小可以设置比较大，数据偏大就设置比较小。source中参数为源集群参数，如源集群host，源集群index（index参数）其中index_list.txt为需要迁移的index名称，每行一个。ES版本相同（都是星海安装的）
Elasticsearch索引管理-reindex重建索引
热门推荐
下雨天__的专栏
08-29 2万+
一个field的设置是不能被修改的，如果要修改一个field，那么应该重新按照新的mapping，建立一个index，然后将数据批量查询出来，重新用bulk api写入新index中。 批量查询的时候，建议采用scroll api，并且采用多线程并发的方式来reindex数据，每次scroll就查询指定日期的一段数据，交给一个线程即可。 具体操作步骤： （1）一开始，依靠dynamic ma...
【ES实战】reindex API的使用
coding and writing
12-16 1566
Reindex API的使用前提 主要功能 使用举例 reindex任务管理 问题总结
ElasticSearch必知必会-Reindex重建索引
京东科技开发者
03-14 632
本文详细讲解了Reindex重建索引的常用方式、高级索引重加方式以及跨集群索引重建操作以及注意事项。
Elasticsearch Reindex客户端API中文文档包发布
Elasticsearch的reindex客户端API文档中文版可以帮助中文用户更好地理解和使用Elasticsearch的reindex功能。通过解压该压缩包，使用浏览器打开"index.html"文件，可以纵览整个文档内容。文档内容包括但不限于API的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值