关于 Elasticsearch 不同分片设置的压测报告

已于 2023-07-17 17:14:24 修改
阅读量205 收藏
点赞数
文章标签： elasticsearch 大数据 搜索引擎
于 2023-07-17 11:12:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/infinilabs/article/details/131762236
版权

QQ图片20230715153931.png

摘要

为了验证当前集群经常出现索引超时以及请求拒绝的问题，现模拟线上集群环境及索引设置，通过压测工具随机生成测试数据，针对当前的 850 个分片的索引，以及减半之后的索引，以及更小分片索引的写入进行压测，使用不同的并发、不同的批次大小来观察索引的吞吐情况，并记录写入队列的堆积情况，用来分析分片数、批次数对写入的影响，从而确定后续的优化方案。

压测场景

Elasticsearch 版本 v7.7.1, 共有 57 个节点，其中 3 个独立 Master，3 个协调节点，31GB JVM。

压测流程

单索引 850 分片

索引定义

PUT idx-xxxx-xxxxxx
{
    "aliases" : {
      "alias-xxxx-xxxxxx" : { }
    },
    "mappings" : {
      "dynamic" : "strict",
      "_routing" : {
        "required" : true
      },
      "_source" : {
        "excludes" : [
          "isExtract*",
          "batchNo"
        ]
      },
      "properties" : {
        "addxxxx" : {
          "type" : "text",
          "term_vector" : "with_positions_offsets"
        },
        "clxxxx" : {
          "type" : "byte"
        },
        "contxxxx" : {
          "type" : "text",
          "boost" : 4.0,
          "term_vector" : "with_positions_offsets"
        },
        "conxxxx" : {
          "type" : "keyword",
          "doc_values" : false
        },
        "con1xxxx" : {
          "type" : "text",
          "boost" : 16.0,
          "term_vector" : "with_positions_offsets",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "normalizer" : "keyword_normalizer"
            }
          },
          "analyzer" : "name_analyzer",
          "search_analyzer" : "keyword_analyzer"
        },
        "contSxxxx" : {
          "type" : "long",
          "index" : false,
          "doc_values" : false
        },
        "contSxxxxx" : {
          "type" : "keyword",
          "doc_values" : false
        },
        "contTxxxx" : {
          "type" : "short"
        },
        "crtxxxx" : {
          "type" : "date",
          "ignore_malformed" : true,
          "format" : "yyyyMMddHHmmss"
        },
        "duration" : {
          "type" : "long",
          "index" : false,
          "doc_values" : false
        },
        "largeTxxxx" : {
          "type" : "keyword",
          "boost" : 8.0,
          "index" : false,
          "doc_values" : false
        },
        "md5" : {
          "type" : "keyword",
          "index" : false,
          "doc_values" : false
        },
        "orderxxxx" : {
          "type" : "alias",
          "path" : "contName.keyword"
        },
        "ownxxxxxx" : {
          "type" : "keyword",
          "doc_values" : false
        },
        "ownxxxxxxxxxx" : {
          "type" : "keyword",
          "doc_values" : false
        },
        "ownxxxxxxxxxxx" : {
          "type" : "keyword",
          "doc_values" : false
        },
        "ownxxxxxxxxxxx" : {
          "type" : "keyword",
          "doc_values" : false
        },
        "parenxxxxxxxxxx" : {
          "type" : "keyword"
        },
        "pathxx" : {
          "type" : "text",
          "boost" : 8.0,
          "term_vector" : "with_positions_offsets",
          "fields" : {
            "keyword" : {
              "type" : "keyword"
            }
          },
          "analyzer" : "path_analyzer"
        },
        "presexxxxx" : {
          "type" : "keyword",
          "boost" : 8.0,
          "index" : false,
          "doc_values" : false
        },
        "presexxxxx" : {
          "type" : "keyword",
          "boost" : 8.0,
          "index" : false,
          "doc_values" : false
        },
        "presxxxxxx" : {
          "type" : "keyword",
          "boost" : 8.0,
          "index" : false,
          "doc_values" : false
        },
        "prixxxxxx" : {
          "type" : "short",
          "index" : false
        },
        "search_xxxxxx" : {
          "type" : "alias",
          "path" : "contName"
        },
        "servixxxxxx" : {
          "type" : "byte"
        },
        "shotxxxxxx" : {
          "type" : "date",
          "ignore_malformed" : true,
          "format" : "yyyyMMddHHmmss"
        },
        "xxxxxxlThuxxxxxx" : {
          "type" : "keyword",
          "boost" : 8.0,
          "index" : false,
          "doc_values" : false
        },
        "tagxxxxxx" : {
          "type" : "text",
          "term_vector" : "with_positions_offsets"
        },
        "thumxxxxxx" : {
          "type" : "keyword",
          "boost" : 8.0,
          "index" : false,
          "doc_values" : false
        },
        "xxxxxxpdxxxxxx" : {
          "type" : "date",
          "ignore_malformed" : true,
          "format" : "yyyyMMddHHmmss"
        },
        "xxxxxxderAcxxxxxx" : {
          "type" : "keyword",
          "doc_values" : false
        },
        "xxxxxxerAccouxxxxxx" : {
          "type" : "keyword",
          "doc_values" : false
        },
        "xxxxxxerxxxxxxID" : {
          "type" : "keyword",
          "doc_values" : false
        },
        "xxxxxxderNxxxxxx" : {
          "type" : "keyword",
          "doc_values" : false
        }
      }
    },
    "settings" : {
      "index" : {
        "max_ngram_diff" : "50",
        "refresh_interval" : "1s",
        "number_of_shards" : "850",

        "analysis" : {
          "normalizer" : {
            "keyword_normalizer" : {
              "filter" : [
                "lowercase"
              ],
              "type" : "custom"
            }
          },
          "analyzer" : {
            "keyword_analyzer" : {
              "filter" : [
                "lowercase"
              ],
              "type" : "custom",
              "tokenizer" : "keyword"
            },
            "name_analyzer" : {
              "filter" : [
                "lowercase"
              ],
              "type" : "custom",
              "tokenizer" : "name_tokenizer"
            },
            "path_analyzer" : {
              "filter" : [
                "lowercase"
              ],
              "type" : "custom",
              "tokenizer" : "path_tokenizer"
            }
          },
          "tokenizer" : {
            "name_tokenizer" : {
              "type" : "ngram",
              "min_gram" : "1",
              "max_gram" : "5"
            },
            "path_tokenizer" : {
              "pattern" : "/",
              "type" : "pattern"
            }
          }
        },
        "number_of_replicas" : "1"

      }
    }
  }

样例数据

POST idx-owncloud-img/_doc/1?routing=1
{
  "ownerxxxxxx" : "002#######0oV",
  "serxxxxxx" : 1,
  "tagxxxxxx" : "",
  "contxxxxxx" : "",
  "xxxxxxAccoxxxxxxe" : "1",
  "presxxxxxx" : "",
  "conxxxxxx" : "jpg",
  "xxxxxxerBxxxxxx" : "6#######573",
  "ownerxxxxxxx" : "13#######62",
  "presxxxxxxL" : "",
  "duxxxxxx" : 0,
  "paxxxxxx" : "00##########################################043",
  "crtxxxxxx" : "20#######45",
  "pxxxxxxtCatxxxxxx" : "001############################043",
  "sxxxxxxThumxxxxxx" : "http://downl#################################################961",
  "uxxxxxxerAxxxxxxt" : "1##############2",
  "uxxxxxxderAccoxxxxxxe" : "1",
  "uxxxxxxderxxxxxxID" : "0#####################V",
  "lxxxxxxhumxxxxxxl" : "http://d###################################D961",
  "thxxxxxxl" : "http://do###############################################################61",
  "axxxxxxss" : "",
  "uxxxxxxm" : "20##############8",
  "cxxxxxx" : 3,
  "coxxxxxx" : 1,
  "prxxxxxx" : 10,
  "coxxxxxx" : "0###################################cm",
  "co2xxxxxx" : 5##############8,
  "shoxxxxxx" : "20##############4",
  "contxxxxxx" : "mm##############g",
  "presxxxxxx" : "",
  "oxxxxxxBmpxxxxxx" : "6#######3",
  "md5" : "7##############1E"
}

loadgen 配置

root@loadgen:/opt/loadgen# cat loadgen.yml
statsd:
  enabled: false
  host: 192.168.3.98
  port: 8125
  namespace: loadgen.
variables:
  - name: ip
    type: file
    path: dict/ip.txt
  - name: message
    type: file
    path: dict/nginx.log
#  - name: user
#    type: file
#    path: dict/user.txt
  - name: id
    type: sequence
  - name: uuid
    type: uuid
  - name: now_local
    type: now_local
  - name: now_utc
    type: now_utc
  - name: now_unix
    type: now_unix
  - name: suffix
    type: range
    from: 12
    to: 12
  - name: bool
    type: range
    from: 0
    to: 1
requests:
  - request:
      method: POST
      runtime_variables:
        batch_no: id
      runtime_body_line_variables:
        routing_no: uuid
      basic_auth:
        username: elastic
        password: ####
      url: https://xxx.elasticsearch.xxx.cn:9243/_bulk
      body_repeat_times: 50
      body: "{ \"create\" : { \"_index\" : \"idx-xxxxxx-xxxxxx\",\"_type\":\"_doc\", \"_id\" : \"$[[uuid]]\" , \"routing\" : \"$[[routing_no]]\" } }\n{ \"ownerxxxxxx\" : \"0011WsjCK0oV\", \"servxxxxxx\" : $[[bool]], \"tagxxxxxx\" : \"\", \"contxxxxxx\" : \"\", \"ownexxxxxxunxxxxxx\" : \"$[[bool]]\", \"prxxxxxxentLxxxxxx\" : \"\", \"conxxxxxx\" : \"jpg\", \"uxxxxxxexxxxxxID\" : \"$[[id]]\", \"owxxxxxxccxxxxxxt\" : \"$[[routing_no]]\", \"prxxxxxxtUxxxxxxL\" : \"\", \"durxxxxxxn\" : 0, \"paxxxxxx\" : \"00019700101000000001/0011WsjCK0oV00019700101000000043\", \"crxxxxxx\" : \"$[[id]]\", \"paxxxxxxntxxxxxxogIxxxxxx\" : \"0011WsjCK0oV00019700101000000043\", \"sxxxxxxThumxxxxxx\" : \"http://xxx.xxx.cn:80/storageWeb/servlet/GetFileByURLServlet?root=/mnt/wfs133&fileid=KB1af35f100578d655b2cfbd7edd2cb50e.jpg&ct=1&type=0&code=80B0EAB7F429F1A32F76EB895F5FF4DE1853D254604FAB67A7C33FDF92BE7220&exp=315&account=MTM2MzgzMTU1NjI=&p=0&ui=0011WsjCK0oV&ci=0011WsjCK0oV06320210812125345tcm&userSiteId=usersite-s&cn=mmexport162592513503...&oprChannel=10000000&dom=D961\", \"xxxxxxderAxxxxxxnt\" : \"$[[routing_no]]\", \"upxxxxxxerAcxxxxxxtype\" : \"$[[bool]]\", \"uploaderNDUserID\" : \"$[[uuid]]\", \"largeThumbnail\" : \"http://xxx.xxx.cn:80/storageWeb/servlet/GetFileByURLServlet?root=/mnt/wfs133&fileid=KB1af35f100578d655b2cfbd7edd2cb50e.jpg&ct=1&type=1&code=80B0EAB7F429F1A32F76EB895F5FF4DE1853D254604FAB67A7C33FDF92BE7220&exp=315&account=MTM2MzgzMTU1NjI=&p=0&ui=0011WsjCK0oV&ci=0011WsjCK0oV06320210812125345tcm&userSiteId=usersite-s&cn=mmexport162592513503...&oprChannel=10000000&dom=D961\", \"xxxxxxil\" : \"http://download.xxx.xxx.com:80/storageWeb/servlet/GetFileByURLServlet?root=/mnt/wfs133&fileid=KB1af35f100578d655b2cfbd7edd2cb50e.jpg&ct=1&type=2&code=80B0EAB7F429F1A32F76EB895F5FF4DE1853D254604FAB67A7C33FDF92BE7220&exp=315&account=MTM2MzgzMTU1NjI=&p=0&ui=0011WsjCK0oV&ci=0011WsjCK0oV06320210812125345tcm&userSiteId=usersite-s&cn=mmexport162592513503...&oprChannel=10000000&dom=D961\", \"adxxxxxx\" : \"\", \"upxxxxxx\" : \"$[[now_unix]]\", \"cxxxxxx\" : 3, \"contxxxxxxe\" : $[[bool]], \"prixxxxxx\" : 10, \"conxxxxxx\" : \"0011WsjCK0oV06320210812125345tcm\", \"contxxxxxx\" : $[[id]], \"shoxxxxxx\" : \"$[[id]]\", \"contxxxxxxe\" : \"mmexport1625925135032.jpg\", \"prxxxxxxtHxxxxxx\" : \"\", \"oxxxxxxrBmxxxxxxID\" : \"$[[id]]\", \"md5\" : \"$[[uuid]]\" }\n"
运行测试

开启 gzip 流量压缩，执行压测：

root@loadgen:/opt/loadgen# ./loadgen-linux-amd64 -config loadgen.yml -d 6000 -c 100  -compress
1 副本 100 并发

screenshot-20230715-154045.png

0 副本 100 并发

screenshot-20230715-154105.png

0 副本 200 并发

screenshot-20230715-154119.png
写入队列已经存在大量堆积和拒绝的现象了：

screenshot-20230715-154143.png

1 副本 200 并发

screenshot-20230715-154158.png

screenshot-20230715-154216.png

1 副本 400 并发

screenshot-20230715-154230.png

1 副本 800 并发

image(8).png

image(9).png

1 副本批次 500 并发 100

image(10).png

image(11).png

1 副本批次 2000 并发 100

image(12).png

image(13).png

1 副本批次 5000 并发 100

image(14).png

1 副本批次 5000 并发 200

image(15).png

image(16).png

单索引 425 分片

索引定义

PUT idx-xxxxxx-xxxxxx-425
{
    "aliases" : {
      "alias-xxxxxx-xxxxxx" : { }
    },
    "mappings" : {
      "dynamic" : "strict",
      "_routing" : {
        "required" : true
      },
      "_source" : {
        "excludes" : [
          "isExtract*",
          "batchNo"
        ]
      },
      "properties" : {
        "addxxxxxx" : {
          "type" : "text",
          "term_vector" : "with_positions_offsets"
        },
        "cxxxxxx" : {
          "type" : "byte"
        },
        "coxxxxxxc" : {
          "type" : "text",
          "boost" : 4.0,
          "term_vector" : "with_positions_offsets"
        },
        "coxxxxxx" : {
          "type" : "keyword",
          "doc_values" : false
        },
        "conxxxxxxe" : {
          "type" : "text",
          "boost" : 16.0,
          "term_vector" : "with_positions_offsets",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "normalizer" : "keyword_normalizer"
            }
          },
          "analyzer" : "name_analyzer",
          "search_analyzer" : "keyword_analyzer"
        },
        "coxxxxxxze" : {
          "type" : "long",
          "index" : false,
          "doc_values" : false
        },
        "conxxxxxxfix" : {
          "type" : "keyword",
          "doc_values" : false
        },
        "coxxxxxxpe" : {
          "type" : "short"
        },
        "cxxxxxxm" : {
          "type" : "date",
          "ignore_malformed" : true,
          "format" : "yyyyMMddHHmmss"
        },
        "duxxxxxxon" : {
          "type" : "long",
          "index" : false,
          "doc_values" : false
        },
        "laxxxxxxbnail" : {
          "type" : "keyword",
          "boost" : 8.0,
          "index" : false,
          "doc_values" : false
        },
        "md5" : {
          "type" : "keyword",
          "index" : false,
          "doc_values" : false
        },
        "ordxxxxxxNamxxxxxx" : {
          "type" : "alias",
          "path" : "contName.keyword"
        },
        "oxxxxxxccoxxxxxxt" : {
          "type" : "keyword",
          "doc_values" : false
        },
        "owxxxxxxcounxxxxxxpe" : {
          "type" : "keyword",
          "doc_values" : false
        },
        "owxxxxxxpUsxxxxxxD" : {
          "type" : "keyword",
          "doc_values" : false
        },
        "oxxxxxxDUsexxxxxxD" : {
          "type" : "keyword",
          "doc_values" : false
        },
        "pxxxxxxtalxxxxxxD" : {
          "type" : "keyword"
        },
        "patxxxxxx" : {
          "type" : "text",
          "boost" : 8.0,
          "term_vector" : "with_positions_offsets",
          "fields" : {
            "keyword" : {
              "type" : "keyword"
            }
          },
          "analyzer" : "path_analyzer"
        },
        "prxxxxxxntHxxxxxx" : {
          "type" : "keyword",
          "boost" : 8.0,
          "index" : false,
          "doc_values" : false
        },
        "prxxxxxxntLxxxxxx" : {
          "type" : "keyword",
          "boost" : 8.0,
          "index" : false,
          "doc_values" : false
        },
        "prxxxxxxURxxxxxx" : {
          "type" : "keyword",
          "boost" : 8.0,
          "index" : false,
          "doc_values" : false
        },
        "pxxxxxxity" : {
          "type" : "short",
          "index" : false
        },
        "sxxxxxxch_nxxxxxxe" : {
          "type" : "alias",
          "path" : "contName"
        },
        "sexxxxxxeTxxxxxxe" : {
          "type" : "byte"
        },
        "sxxxxxxTm" : {
          "type" : "date",
          "ignore_malformed" : true,
          "format" : "yyyyMMddHHmmss"
        },
        "smxxxxxxThuxxxxxxl" : {
          "type" : "keyword",
          "boost" : 8.0,
          "index" : false,
          "doc_values" : false
        },
        "taxxxxxxa" : {
          "type" : "text",
          "term_vector" : "with_positions_offsets"
        },
        "txxxxxxnaxxxxxx" : {
          "type" : "keyword",
          "boost" : 8.0,
          "index" : false,
          "doc_values" : false
        },
        "uxxxxxxm" : {
          "type" : "date",
          "ignore_malformed" : true,
          "format" : "yyyyMMddHHmmss"
        },
        "upxxxxxxdexxxxxxount" : {
          "type" : "keyword",
          "doc_values" : false
        },
        "upxxxxxxrAcxxxxxxpe" : {
          "type" : "keyword",
          "doc_values" : false
        },
        "upxxxxxxmpUsxxxxxx" : {
          "type" : "keyword",
          "doc_values" : false
        },
        "uxxxxxxerNDxxxxxxD" : {
          "type" : "keyword",
          "doc_values" : false
        }
      }
    },
    "settings" : {
      "index" : {
        "max_ngram_diff" : "50",
        "refresh_interval" : "1s",
        "number_of_shards" : "425",

        "analysis" : {
          "normalizer" : {
            "keyword_normalizer" : {
              "filter" : [
                "lowercase"
              ],
              "type" : "custom"
            }
          },
          "analyzer" : {
            "keyword_analyzer" : {
              "filter" : [
                "lowercase"
              ],
              "type" : "custom",
              "tokenizer" : "keyword"
            },
            "name_analyzer" : {
              "filter" : [
                "lowercase"
              ],
              "type" : "custom",
              "tokenizer" : "name_tokenizer"
            },
            "path_analyzer" : {
              "filter" : [
                "lowercase"
              ],
              "type" : "custom",
              "tokenizer" : "path_tokenizer"
            }
          },
          "tokenizer" : {
            "name_tokenizer" : {
              "type" : "ngram",
              "min_gram" : "1",
              "max_gram" : "5"
            },
            "path_tokenizer" : {
              "pattern" : "/",
              "type" : "pattern"
            }
          }
        },
        "number_of_replicas" : "1"

      }
    }
  }
1 副本批次 50 并发 100

image(17).png

image(18).png

1 副本批次 50 并发 200
1 副本批次 50 并发 400
1 副本批次 50 并发 800
1 副本批次 500 并发 100

image(19).png

screenshot-20230715-161033.png

1 副本批次 2000 并发 100

screenshot-20230715-161115.png

1 副本批次 5000 并发 100

screenshot-20230715-161131.png

screenshot-20230715-161145.png

单索引 50 分片

1 副本批次 50 并发 100

screenshot-20230715-161158.png

screenshot-20230715-161213.png

1 副本批次 500 并发 100

screenshot-20230715-161228.png

screenshot-20230715-161248.png

1 副本批次 1000 并发 100

screenshot-20230715-161322.png

screenshot-20230715-161335.png

1 副本批次 5000 并发 100

screenshot-20230715-161348.png

screenshot-20230715-161404.png

走网关单索引 425 分片

1 副本批次 50 并发 400>200

screenshot-20230715-161415.png

1 副本批次 500 并发 100

screenshot-20230715-161427.png

1 副本批次 500 并发 200

screenshot-20230715-161850.png

1 副本批次 500 并发 400

screenshot-20230715-161912.png

screenshot-20230715-161932.png

1 副本批次 5000 并发 100

screenshot-20230715-162016.png
screenshot-20230715-162029.png

screenshot-20230715-162043.png

1 副本批次 5000 并发 200

screenshot-20230715-162100.png

screenshot-20230715-162153.png

1 副本批次 5000 并发 400

screenshot-20230715-162206.png

screenshot-20230715-162217.png

走网关单索引 850 分片

1 副本批次 50 并发 400

screenshot-20230715-162227.png

1 副本批次 500 并发 400

screenshot-20230715-162239.png

1 副本批次 5000 并发 400

screenshot-20230715-162252.png

压测结果

索引数分片数副本数批次大小压测并发平均写入吞吐(eps)
185015010010,000
185005010030,000
185005020040,000
185015020018,000
185015040027,500
185015080029,700
1850150010030,187
18501200010068,000
18501500010098,915
18501500020078,462
142515010012,695
1425150010046818
142512000100100,000
142515000100130,000
15015010032,987
150150010096,207
15011000100147,719
15015000100156,961

走网关节点异步合并模式：

索引数分片数副本数批次大小压测并发平均写入吞吐(eps)
1425150100500
14251502001,000
14251504002,000
142515001004,800
142515002009,350
1425150040017,000
14251500010050,000
142515000200100,000
142515000400175,000
18501504002000
1850150040018,800
185015000400137,000

结论

大分片索引，850 或者 425，在并发即使只有 100 的情况下就有可能出现占满线程池，出现请求拒绝的情况，单个批次的文档数比较小的情况下，更容易出现。
而同样格式的索引，在 50 个分片的情况下，索引的吞吐是 425 分片的两倍，850 分片的三倍，且线程池基本上没有堆积，或者堆积很快处理完。单次请求的文档数越多，写入的效率越高。
某些场景下索引分片虽然做了 Routing 处理，但是超大分片索引存在严重的转发效率问题，建议按照业务维度，或者当前的 Routing 维度进行索引的划分，将超大索引拆分成若干个子索引，单个索引的分片数尽量不要超过 20 个。

INFINI Labs
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Vue 脱坑记 - 查漏补缺(汇总下群里高频询问的xxx及给出不靠谱的解决方案)
weixin_33966095的博客
11-07 7105
前言文章内容覆盖范围,芝麻绿豆的破问题都有,不止于vue;给出的是方案,但不是手把手一字一句的给你说十万个为什么! 有三类人不适合此篇文章: "喜欢站在道德制高点的圣母婊" -- 适合去教堂 "无理取闹的键盘侠" -- 国际新闻版块欢迎你去 "有一定基础但又喜欢逼逼的人" 得得得,老子知道你厉害了,你好牛逼,这些问题那么简单,都是小白看的 这种傻瓜文,简直浪费老子的时间! 对于以上三类人,...
ElasticSearch合理分配索引分片原理
08-19
同时，在ElasticSearch集群中配置好索引后，我们要明白在集群运行中无法调整分片设置。如果需要调整分片数量，只能新建创建并对数据进行重新索引（reindex）。 四、基于时间的索引管理 为了管理数据保留期，...
Elasticsearch 压测实践总结
qq_33999844的博客
04-03 1121
搜索、ES运维场景离不开压力测试。 1.宿主机层面变更：参数调优 & 配置调整 & 硬件升级 2.集群层面变更：参数调优 3.索引层面变更：mapping调整 ES压测，官方推荐esrally工具（python编写）。虽然esrally功能丰富，但esrally的依赖比较多，很难快速搭建可用的压测环境。对于追求轻量工具的开发者而言，可以考虑使用infinilabs提供的loadgen工具。
es-test:Elasticsearch单节点性能测试
05-25
Elasticsearch尺寸测试 方法 生成以下格式的平面文件或随机日志信息 [source IP address] [yyyymmddHHMMss] GET http://[random uuid]/[random uuid]/[random uuid]/[random uuid] 0 TCP_MISS/200 - [target IP address] - 0 为源IP和目标IP地址生成随机IP地址 时间戳是从当前时间得出的 网址包含4个随机UUID 随机化以确保索引重用和/或压缩的机会最小 测试结果 100,000k记录在64ms内返回的集中搜索单个随机值 1m条记录在83ms内返回的集合中搜索单个随机值 100m记录在176ms返回的集合中搜索单个随机值 1b记录了在12,672ms（12.6秒）内返回的集合中搜索单个随机值的记录 尺寸 100m记录= 6.6GB单节点，创建
ES性能压测工具esrally —— 筑梦之路
筑梦之路
05-22 1184
压测，即压力测试，是指对计算机系统、软件应用或网络服务等进行负载测试，以模拟实际使用场景中的高负载情况，检验系统在压力下的性能、稳定性和可靠性。压测旨在确定系统在正常或极端负载下的性能极限，以便在生产环境中提供最佳的性能和可靠性。
elasticsearch压力测试工具之ESrally
u010703579的博客
08-11 770
执行 yum -y list java* ，如果有java-1.8.0-openjdk.x86_64则说明有1.8版本。执行 echo $PYTHON_HOME 输出 /usr/local/python3.7 说明环境变量配置成功。执行 echo $GIT_HOME 输出 /usr/local/git-2.5.5 说明环境变量配置成功。:wq保存后，执行 source /etc/profile 更新。执行 vim /etc/profile 在最后加上下面两句。执行 vim /etc/profile。
推荐一款es轻量级的压测工具
bohu83的博客
10-27 1949
如果测试服务器充足，可以部署在多个上，一个节点可以部署多个loadgen.改下名字。之前折腾2天想用es 官网推荐的es压测工具，各种坑，参见我之前的安装过程。如何修改参数，参见官网：就是设置es的账户，ip, 写body,读的url。开多个情况，每个设置不同的配置，这样更好的模拟线上的不同读写速率，值得推荐。有一点，这是基准的压测，不能很好的模拟线上的同事读写某个比例的情况。分别设定不同的并发，模拟业务读写不同的es索引。下载，解压，修改loadgen.yml 即可。这里面很多参数，主要是读写的速度。
esrally性能分析结果图形化展示深入详解
热门推荐
铭毅天下Elasticsearch
08-10 2万+
0、前提安装elasticsearch的最新版本，目前是2.3.4版本。 elsticsearch新增扮演的角色是：rally分析结果会存储到elasticsearch。1、运行esrally 高级配置模式高级配置模式和普通模式的区别：普通模式只需要配置jdk的环境变量路径。 而高级模式，需要配置：当前本机已安装elasticsearch的监听端口以及ES配置的主机名称。高级配置模式详情：[el
系统压测报告指标图标模板
01-29
系统压测报告是评估软件系统在高负载或并发情况下的性能和稳定性的重要文档。这份报告通常包含多个关键指标，以确保系统在预期的工作负载下能够正常运行。以下是一些核心的知识点，对于测试开发人员来说非常关键： ...
es压测esrally.docx
04-26
esrally是Elastic官方开源的压测工具，主要用于Elasticsearch性能压测。下面将对esrally的安装、配置、压测流程和结果分析进行详细的介绍。 一、esrally安装 esrally的安装非常简单，使用pip3 install esrally命令...
Elasticsearch分片原理
01-07
代表索引分片，es可以把一个完整的索引分成多个分片，这样的好处是可以把一个大的索引拆分成多个，分布到不同的节点上。构成分布式搜索。分片的数量只能在索引创建前指定，并且索引创建后不能更改,这里和索引分片的...
掌控数据洪流：深度解析 Elasticsearch 分片管理
最新发布
07-18
Elasticsearch 是一个基于 Lucene 构建的开源、分布式、RESTful 风格的搜索和分析引擎。它通常用于处理大量数据的搜索、分析和存储任务。以下是 Elasticsearch 的一些关键特点： 1. **分布式**：Elasticsearch 可以...
Elasticsearch压测工具esrally使用笔记
Ning Yang 的博客
01-31 2291
https://segmentfault.com/a/1190000011174694?_ea=2549617
Elasticsearch 集群压力测试
爱死亡机器人
03-15 1621
文章目录1. 压力测试2. 测试目标 & 测试数据3. 测试脚本4. ES Rally 简介5. Rally 的安装以及入门6. Rally 基本概念讲解7. Benchmark Reports8. 运行一个测试9. 什么是压测的流程10. 自定义 & 分布式测试11. 实例：比较不同的版本的性能12. 实例：比较不同 Mapping 的性能13. 实例：测试现有集群的性能 1. 压力测试 压力测试的目的 容量规划 / 性能优化 / 版本间性能比较 / 性能问题诊断 确定系统稳定性，考察
ElaticSearch压测介绍（esrally）
雪辉博客
10-24 869
文章目录一、 简介二、压测概要2.1 测试背景2.2 测试环境三、测试结果3.1 表格展示3.2 图形展示四、附录4.1 测试结果 一、 简介 esrally 是 elastic 官方开源的一款基于 python3 实现的针对 es 的压测工具，esrally主要功能如下： 自动创建、压测和销毁 es 集群 可分 es 版本管理压测数据和方案 完善的压测数据展示，支持不同压测之间的数据对比分析，也可以将数据存储到指定的es中进行二次分析 支持收集 JVM 详细信息，比如内存、GC等数据来定位性能问题 二
elasticsearch性能压测工具esrally —— 筑梦之路
筑梦之路
11-18 1184
1、 根据参数设定自行编译或者下载 es 可执行实例，然后根据 car 的约定，创建并启动 es 集群。如果使用 benchmark-only 的pipeline，则该步骤省略。2.、根据指定 track 去下载数据，然后按照指定的 challenge 进行操作。1、throughput 每个操作的吞吐量，比如 index、search等。先搞懂每个 metric 的含义，然后根据自己的需求去确认自己要关注的指标。2、latency 每个操作的响应时长数据。3.、记录并输出压测结果数据。
elasticsearch压力测试工具之ESrally使用说明，2024年最新软件测试开发入门基础教程
2401_84265519的博客
04-17 990
使用非root用户运行，并且保证内存够用，这里我是用geonames赛道进行测试，使用默认的car为1gb堆内存，为了快速测试，可以将测试数据和ES二进制包提前下到指定的目录下，ES二进制包存储在/home/elk/.rally/benchmarks/distributions目录下，测试数据存放在/home/elk/.rally/benchmarks/data/geonames目录下。压测过程可以通过/home/elk/.rally/logs.log查看。并且可以对不同的race进行比较。
ES8生产实践——性能压测工具esrally
qq_33816243的博客
03-20 1226
模拟真实场景： Rally 可以模拟真实的生产环境中的负载，包括索引、搜索、聚合等操作，以便评估 Elasticsearch 在不同负载下的性能表现。多种负载类型： Rally 提供了多种预置的负载类型，如Index、Search、Bulk、Update等，用户可以根据需求选择合适的负载类型进行测试。灵活的配置： Rally 允许用户对测试进行灵活的配置，包括索引设置、数据量、并发度等参数。用户可以根据自己的需求定制测试方案。
Elasticsearch压测工具esrally详解
web13618542420的博客
08-16 990
重复运行的时候可以修改 ~/.rally/rally.ini 里的 tracks[default.url] 为第一次运行时下载的地址： ~/.rally/benchmarks/tracks/default。track 的定义文件在 ~/.rally/benchmarks/tracks/default/geonames/track.json。rally官网：http://esrally.readthedocs.io/en/latest/index.html。其实可以自己去修改一下 track 的任务定义。..
ElasticSearch数据超过分片设置的大小怎么办
05-30
如果Elasticsearch中的分片大小超过了预先设置的大小，通常可以采取以下几种方法： 1. 增加分片数量：如果当前分片大小已经接近或超过了预先设置的大小，可以通过增加分片数量来实现数据分散。需要注意的是，增加分片数量可能会对查询性能产生影响，因此需要根据实际情况进行权衡。 2. 压缩分片数据：可以通过重新索引来压缩分片大小，具体的步骤包括创建一个新的索引，将旧的索引数据导入到新的索引中，并使用shrink API来压缩分片大小。需要注意的是，这个过程可能会占用大量的磁盘空间和CPU资源。 3. 优化索引设置：可以通过调整索引的设置来减小分片大小，例如减小每个分片的大小、减少副本分片数量等。需要注意的是，这样可能会影响查询性能和数据可用性，需要根据实际情况进行优化。 总之，当Elasticsearch中的分片大小超过预先设置的大小时，需要根据实际情况采取相应的措施，以保证数据的可用性和查询性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值