Elasticsearch压测工具esrally

最新推荐文章于 2024-04-29 11:15:19 发布
最新推荐文章于 2024-04-29 11:15:19 发布
阅读量255 收藏
点赞数
文章标签： elasticsearch 大数据 linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33887096/article/details/124958490
版权

Elasticsearch压测工具esrally

配置参数配置值
GIT_HOME/opt/git
PYENV_HOME/opt/pyenv

环境要求

python3.8 pip3
jdk8(可选)
git 1.9+

环境变量信息

# 系统环境变量
cat << EOF >> /etc/profile.d/01-esrally.sh
export GIT_HOME=/opt/git
export PYENV_HOME=/opt/pyenv
EOF

git部署

使用安装包安装：

#1.下载安装包：https://github.com/git/git/releases
tar -zxvf git-2.9.5.tar.gz
#2:安装git需要的依赖
yum install curl-devel expat-devel gettext-devel openssl-devel zlib-devel gcc perl-ExtUtils-MakeMaker
#3：如果已经安装编译源码所需依赖的时候，yum自动安装了git，需要先卸载这个旧版git
yum -y remove git
#4：编译git源码：
make prefix=${GIT_HOME} all
#5：安装git至/opt/git路径
make prefix=${GIT_HOME} install
#5：环境变量配置
cat << EOF >> /etc/profile
export PATH=$PATH:${GIT_HOME}/bin
EOF
source /etc/profile
#6：验证
git --version

#================================================================================================================
#需要离线部署情况
#1:安装pyenv需要的依赖
yum -y install openssl-devel zlib-devel bzip2-devel sqlite-devel readline-devel libffi-devel systemtap-sdt-devel curl-devel perl-devel
#2.git clone项目
git clone https://github.com/pyenv/pyenv.git
#3.环境变量配置
cat << EOF >> /etc/profile.d/pyenv.sh
export PYENV_ROOT="${PYENV_HOME}"
export PATH="$PYENV_ROOT/bin:$PATH"
eval "$(pyenv init -)"
EOF
#4.virtualenv环境部署
git clone https://github.com/pyenv/pyenv-virtualenv.git /opt/pyenv/plugins/pyenv-virtualenv
#5.环境创建 由于在线速度较慢，使用离线部署
mv Python-3.8.8.tar.xz -P ${PYENV_HOME}/cache
pyenv install 3.8.8
pyenv virtualenv 3.8.8 python_3.8.8

pyenv部署

#1:安装pyenv需要的依赖
yum -y install openssl-devel zlib-devel bzip2-devel sqlite-devel readline-devel libffi-devel systemtap-sdt-devel curl-devel perl-devel
#2.git clone项目
git clone https://github.com/pyenv/pyenv.git
#3.环境变量配置
cat << EOF >> /etc/profile.d/pyenv.sh
export PYENV_ROOT="${PYENV_HOME}"
export PATH="$PYENV_ROOT/bin:$PATH"
eval "$(pyenv init -)"
EOF
#4.virtualenv环境部署
git clone https://github.com/pyenv/pyenv-virtualenv.git /opt/pyenv/plugins/pyenv-virtualenv
#5.环境创建 由于在线速度较慢，使用离线部署
mv Python-3.8.8.tar.xz -P ${PYENV_HOME}/cache
pyenv install 3.8.8
pyenv virtualenv 3.8.8 python_3.8.8



#================================================================================================================
#需要离线部署情况
#进入pyenv环境
pyenv activate python_3.8.8
#pyenv安装
pip3 install --upgrade pip
pip3 install esrally
#离线测试 数据包部署
nv ~/.rally/rally.ini ~/.rally/rally.ini.bk
cat << EOF >> ~/.rally/rally.ini
[meta]
config.version = 17

[system]
env.name = local

[node]
root.dir = $(eval echo ~$user)/.rally/benchmarks
src.root.dir = $(eval echo ~$user)/.rally/benchmarks/src

[source]
remote.repo.url = https://github.com/elastic/elasticsearch.git
elasticsearch.src.subdir = elasticsearch

[benchmarks]
local.dataset.cache = $(eval echo ~$user)/.rally/benchmarks/data

[reporting]
datastore.type = in-memory
datastore.host =
datastore.port = 
datastore.secure = False
datastore.user =
datastore.password =


[tracks]
#default.url = https://github.com/elastic/rally-tracks
default.url = $(eval echo ~$user)/.rally/benchmarks/tracks/default

[teams]
#default.url = https://github.com/elastic/rally-teams
default.url = $(eval echo ~$user)/.rally/benchmarks/teams/defaul

[defaults]
preserve_benchmark_candidate = false

[distributions]
release.cache = true
EOF
#数据集下载
#以geonames为例
#访问https://github.com/elastic/rally-tracks/blob/master/download.sh
#可看到readonly URL="http://benchmarks.elasticsearch.org.s3.amazonaws.com/corpora"
#通过查看https://github.com/elastic/rally-tracks/blob/master/geonames/files.txt文件，该数据集名为 documents-2.json.bz2 和 documents-2-1k.json.bz2
#尝试进行组合
#http://benchmarks.elasticsearch.org.s3.amazonaws.com/corpora/geonames/documents-2.json.bz2
wget http://benchmarks.elasticsearch.org.s3.amazonaws.com/corpora/geonames/documents-2.json.bz2
mv documents-2.json.bz2 ~/.rally/benchmarks/data/geonames
#离线测试
#ES集群配置xpath情况下
esrally race --pipeline=benchmark-only --target-hosts=10.0.131.8:9200,10.0.131.9:9200,10.0.131.10:9200 --offline --track=geonames --client-options="use_ssl:false,verify_certs:false,basic_auth_user:'elastic',basic_auth_password:'Changingit124'" --challenge=append-no-conflicts-index-only
#ES集群未配置xpath情况下
esrally race --pipeline=benchmark-only --target-hosts=10.0.131.8:9200,10.0.131.9:9200,10.0.131.10:9200 --offline --track=geonames --challenge=append-no-conflicts-index-only

esrally部署测试

#进入pyenv环境
pyenv activate python_3.8.8
#pyenv安装
pip3 install --upgrade pip
pip3 install esrally
#进行测试
#ES集群配置xpath情况下
esrally race --pipeline=benchmark-only --target-hosts=10.0.131.8:9200,10.0.131.9:9200,10.0.131.10:9200 --track=geonames --client-options="use_ssl:false,verify_certs:false,basic_auth_user:'elastic',basic_auth_password:'Changingit124'" --challenge=append-no-conflicts-index-only
#ES集群未配置xpath情况下
esrally race --pipeline=benchmark-only --target-hosts=10.0.131.8:9200,10.0.131.9:9200,10.0.131.10:9200 --track=geonames --challenge=append-no-conflicts-index-only

#参数报表
------------------------------------------------------
    _______             __   _____
   / ____(_)___  ____ _/ /  / ___/_________  ________
  / /_  / / __ \/ __ `/ /   \__ \/ ___/ __ \/ ___/ _ \
 / __/ / / / / / /_/ / /   ___/ / /__/ /_/ / /  /  __/
/_/   /_/_/ /_/\__,_/_/   /____/\___/\____/_/   \___/
------------------------------------------------------
            
|                                                        Metric |         Task |     Value |   Unit |
|--------------------------------------------------------------:|-------------:|----------:|-------:|
|                    Cumulative indexing time of primary shards |              |   25.5145 |    min |
|            Min cumulative indexing time across primary shards |              |         0 |    min |
|         Median cumulative indexing time across primary shards |              |         0 |    min |
|            Max cumulative indexing time across primary shards |              |   5.30113 |    min |
|           Cumulative indexing throttle time of primary shards |              |         0 |    min |
|   Min cumulative indexing throttle time across primary shards |              |         0 |    min |
|Median cumulative indexing throttle time across primary shards |              |         0 |    min |
|   Max cumulative indexing throttle time across primary shards |              |         0 |    min |
|                       Cumulative merge time of primary shards |              |   1.47403 |    min |
|                      Cumulative merge count of primary shards |              |        15 |        |
|               Min cumulative merge time across primary shards |              |         0 |    min |
|            Median cumulative merge time across primary shards |              |         0 |    min |
|               Max cumulative merge time across primary shards |              |   1.40015 |    min |
|              Cumulative merge throttle time of primary shards |              |   0.15585 |    min |
|      Min cumulative merge throttle time across primary shards |              |         0 |    min |
|   Median cumulative merge throttle time across primary shards |              |         0 |    min |
|      Max cumulative merge throttle time across primary shards |              |   0.15585 |    min |
|                     Cumulative refresh time of primary shards |              |   7.72502 |    min |
|                    Cumulative refresh count of primary shards |              |       324 |        |
|             Min cumulative refresh time across primary shards |              |         0 |    min |
|          Median cumulative refresh time across primary shards |              |         0 |    min |
|             Max cumulative refresh time across primary shards |              |    1.9067 |    min |
|                       Cumulative flush time of primary shards |              |     0.589 |    min |
|                      Cumulative flush count of primary shards |              |        53 |        |
|               Min cumulative flush time across primary shards |              |         0 |    min |
|            Median cumulative flush time across primary shards |              |         0 |    min |
|               Max cumulative flush time across primary shards |              |  0.179733 |    min |
|                                       Total Young Gen GC time |              |    15.772 |      s |
|                                      Total Young Gen GC count |              |       185 |        |
|                                         Total Old Gen GC time |              |         0 |      s |
|                                        Total Old Gen GC count |              |         0 |        |
|                                                    Store size |              |   4.16667 |     GB |
|                                                 Translog size |              | 0.0390588 |     GB |
|                                        Heap used for segments |              |   2.19177 |     MB |
|                                      Heap used for doc values |              |  0.726276 |     MB |
|                                           Heap used for terms |              |   1.24084 |     MB |
|                                           Heap used for norms |              | 0.0759888 |     MB |
|                                          Heap used for points |              |         0 |     MB |
|                                   Heap used for stored fields |              |  0.148659 |     MB |
|                                                 Segment count |              |       271 |        |
|                                                Min Throughput | index-append |    6753.2 | docs/s |
|                                               Mean Throughput | index-append |   6968.04 | docs/s |
|                                             Median Throughput | index-append |   6860.72 | docs/s |
|                                                Max Throughput | index-append |    7344.1 | docs/s |
|                                       50th percentile latency | index-append |   5298.43 |     ms |
|                                       90th percentile latency | index-append |   8082.31 |     ms |
|                                       99th percentile latency | index-append |   12970.7 |     ms |
|                                     99.9th percentile latency | index-append |     15998 |     ms |
|                                      100th percentile latency | index-append |   16156.2 |     ms |
|                                  50th percentile service time | index-append |   5298.43 |     ms |
|                                  90th percentile service time | index-append |   8082.31 |     ms |
|                                  99th percentile service time | index-append |   12970.7 |     ms |
|                                99.9th percentile service time | index-append |     15998 |     ms |
|                                 100th percentile service time | index-append |   16156.2 |     ms |
|                                                    error rate | index-append |         0 |      % |

#报告指标介绍
Cumulative indexing time of primary shards：主分片的累计索引时间，用于索引的累积时间
Cumulative indexing time across primary shards：跨主分片的累计索引时间，跨主碎片建立索引的最小、中值和最大累计时间
Cumulative indexing throttle time across primary shards：跨主分片的累计索引节流时间，已限制索引的累积时间
Cumulative merge time of primary shards：主分片的累计合并时间
Cumulative merge count of primary shards：主分片的累计合并个数
Cumulative merge time across primary shards：跨主分片的累计合并时间
Cumulative merge throttle time of primary shards：跨主分片的累计节流时间
Cumulative refresh time of primary shards：主分片的累计刷新时间
Cumulative refresh count of primary shards：主分片的累计刷新次数
Cumulative refresh time across primary shards：跨主分片的累计刷新时间
Cumulative flush time of primary shards：主分片的累计冲洗时间
Cumulative flush count of primary shards：主分片的累计冲洗次数
Cumulative flush time across primary shards：跨主分片的累计冲洗时间
Total Young Gen GC：整个集群中Young Gen GC的总运行时间
Total Old Gen GC：整个集群中Old Gen GC的总运行时间
Store size：索引大小（不包括事务日志），以字节为单位
Translog size：事务日志的大小（以字节为单位）
Index size：索引大小
Total written：总共写入
Heap used for *：堆用于相应项目的字节数
Segment count：细分总数
Throughput：吞吐量
Latency：延迟，提交请求到接收完整响应之间的时间段。它还包括等待时间，即请求花费等待直到准备好由Elasticsearch服务的时间。
Service Time：服务时间，ES处理请求的时间
error rate：错误率，错误响应相对于响应总数的比率。Python Elasticsearch客户端抛出的任何异常都被认为是错误的（例如HTTP响应代码4xx，5xx或网络错误（网络不可达））

https://www.blog.kamisamak.com/elasticsearch%e5%8e%8b%e6%b5%8b%e5%b7%a5%e5%85%b7esrally/

kamisamak
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
es 压测工具 esrally-dist-1.4.1.tar.gz
05-27
es官方压测工具，当前最新版本！
elasticsearch-benchmark-tool:压力测试工具，用于在Elasticsearch中对索引和搜索进行基准测试
05-26
elasticsearch基准工具 压力测试工具，用于在Elasticsearch中对索引和搜索进行基准测试 运作方式 该工具正在获取代表测试计划的配置文件。 每个步骤可以具有一个或多个以下控制器： 索引-索引1k批量的类似文档的日志（5个不同的选项，其中某些字段根据通用基数因子获取不同的数据，并且始终更改时间戳记） 搜索-遍历5种不同的类似Kibana的搜索 优化-强制合并索引 Noop-不执行任何操作 该工具会生成度量标准作为JMX计数器，而工具会将这些度量标准发送到您的石墨服务器。 配置实例 可以在ConfigurationExample.conf下找到 跑步 docker run --rm -it -e GRAPHITE_SERVER= " your-graphite-server.com " \ -e GRAPHITE_PREFIX
Elasticsearch压测工具esrally详解
热门推荐
每日运维
02-21 2万+
rally 工具是 Elastic 官方开源的针对性性能压测工具。目前 Elasticsearch 的 nightly performance report 就是由 rally 产生的。对自己在做 ES 源码修改，或者ES 应用调优的人来说 ，通过 rally 验证自己的修改效果，是一件很需要且容易的事情。 环境：python3.4+ ；pip3；JDK8；git 1.9+；gradl
elasticsearch压力测试工具之ESrally
u010703579的博客
08-11 622
执行 yum -y list java* ，如果有java-1.8.0-openjdk.x86_64则说明有1.8版本。执行 echo $PYTHON_HOME 输出 /usr/local/python3.7 说明环境变量配置成功。执行 echo $GIT_HOME 输出 /usr/local/git-2.5.5 说明环境变量配置成功。:wq保存后，执行 source /etc/profile 更新。执行 vim /etc/profile 在最后加上下面两句。执行 vim /etc/profile。
elasticsearch性能压测工具esrally —— 筑梦之路
筑梦之路
11-18 1116
1、 根据参数设定自行编译或者下载 es 可执行实例，然后根据 car 的约定，创建并启动 es 集群。如果使用 benchmark-only 的pipeline，则该步骤省略。2.、根据指定 track 去下载数据，然后按照指定的 challenge 进行操作。1、throughput 每个操作的吞吐量，比如 index、search等。先搞懂每个 metric 的含义，然后根据自己的需求去确认自己要关注的指标。2、latency 每个操作的响应时长数据。3.、记录并输出压测结果数据。
elasticsearch测试工具
03-16
最适合测试elasticsearch REST API的工具 Wisdom RESTClient https://github.com/Wisdom-Projects/rest-client
es压测esrally.docx
04-26
es压测esrally 一、压测工具esrally安装 二、esrally工具介绍 三、配置参数说明 四、Race结果分析
Cerebro 安装包 Elasticsearch web管理工具
03-14
Cerebro是一个使用Scala，Play Framework，AngularJS和Bootstrap构建的开源（MIT许可）elasticsearch web管理工具，比Kibana轻量很多，很适用与生产和测试等环境的es集群管理。
Google elasticsearch组件 EsHead
10-27
浏览器上快捷访问Elasticsearch,查看es数据和执行DSL语句 安装说明：https://blog.csdn.net/qq_37671094/article/details/120988291
Elasticsearch工具类
04-08
Elasticsearch工具类，支持通过标签注释实体类并通过工具类实现对es的映射（把po的结构导入es），和对es的增删查改，包括分页，scroll读取，关联查询等。
elasticsearch 性能测试
08-06
NULL 博文链接：https://mitchz.iteye.com/blog/2085365
发布一个轻量级的 Elasticsearch 压测工具 - Loadgen
infinilabs的博客
06-02 1687
Elasticsearch 压测工具 `Loadgen` ，由极限实验室出品，基于 Elasticsearch 的开发运维需求而开发，久经实际客户环境的真实考验，简单好用速度快。
Elasticsearch压力测试工具－Apache Jmeter
tiansheng1225的博客
11-02 1094
一、下载Jmeter 下载地址：http://jmeter.apache.org/download_jmeter.cgi 解压之后运行： cd /apache-jmeter-3.2/bin ./jmeter 二、添加线程组 依次店测试计划-&gt;添加-&gt;threads-&gt;线程组： 在线程组中添加线程数和用户数，模拟用户访问：    10个用户，每个用户200个线程，循环...
写个elastic search的测试工具
weixin_35748962的博客
12-23 149
要写一个 Elasticsearch 测试工具，首先需要准备一下软件： 安装 Elasticsearch：可以从 Elastic 官网下载并安装 Elasticsearch。 安装 Elasticsearch 客户端：可以使用 Elasticsearch 提供的官方客户端，或者使用第三方客户端，例如 Kibana。 准备测试数据：可以手动准备一些测试数据，或者使用已有的数据集。 然后可以...
elasticsearch压力测试工具之ESrally使用说明
wanger5354的博客
01-03 1万+
微信公众号：运维开发故事，作者：wanger ESrally介绍 esrally是elastic search官方用于对ES集群进行压力测试的工具，使用esrally可以为我们构建不同版本集群，构造不同的参数和数据来进行压力测试，并且可以对产生的压测结果进行比较，rally顾名思义是拉力赛的意思，esrally的一些名词也都与拉力赛有关。 github地址：https://github.com/elastic/rally ESrally安装 环境要求 python3.8 pip3 jdk8 git 1..
es优化实践(es升级带来的大坑)-＞问题与痛点-＞优化过程-＞原理分析-＞最佳实践
最新发布
正直 的博客
04-29 199
这里分享一个ES2.X升级到ES5.X带来的天坑问题,从问题与痛点,到优化过程,到原理分析,到最佳实践
ElasticSearch复合查寻
weixin_53676834的博客
04-25 684
如果子查询比较多，每一个都参与算分，是不是查询性能就会受到影响，而如果你在使用的时候，你用的是filter查询和must not查询，它们是不参与算分的。虽然BooleanQuery复合查询里面有这么四种组合关系，但是除了跟算分相关的，一般就是关键字：用户输入的个关键字，除了用户输入的个关键字以外，剩下的过滤条件都应该放在must_not 或者filter里边，尽可能的减少算分，提高查询的效率。·filter，从字面来看，它也是必须匹配，Must也是必须匹配，确实它俩都是必须匹配，都是”与”的意思。
ESLint 和 Prettier 各自的作用及区别
qq_39454432的博客
04-29 593
ESLint 和 Prettier 各自的作用及区别
全文检索 Elasticsearch(简称es)
07-29
Elasticsearch（简称ES）是一个开源的分布式搜索和分析引擎，它基于Apache Lucene库构建而成。它被设计用于快速、可扩展和分布式的全文检索，以及实时数据分析。ES具有强大的搜索能力和高效的分布式架构，能够处理大...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值