elasticsearch性能

最新推荐文章于 2024-01-11 21:15:13 发布
最新推荐文章于 2024-01-11 21:15:13 发布
阅读量426 收藏
点赞数
分类专栏： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_24365213/article/details/76915456
版权

机器配置4台 32核 62G内存

1 使用logstash导入

一般速度在1w条每秒

2 自己开发程序

使用批量导入API 开20线程可以达到10w条每秒


优化总结：

1 使用批量API

2 使用多线程

3 选用合适的JVM参数，包括内存和垃圾回收器。

4 对不需要的字段不进行分析

5 使用最新的es版本。


待验证。。。。。

丹江怒潮
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
elasticsearch+logstash之间传输效率以及es-sql查询效率简单测试
cuixuange的博客
11-11 9064
对于logstash解析大批量数据并传输到elasticsearch中的过程简单进行一些数据的测试，条件4G内存，logstash中配置index.refresh_interval=5s，（这个数据是es索引刷新速率，就是数据传输到es中，es不会实时展示，延迟五秒，一般来说es配置1s），index.refresh_interval的增加可以较大提高插入数据的效率，特别的，可以将其改为-1，等到
logstash性能测试
点火三周的专栏
09-13 1万+
日志从客户端应用被收集，到最终写入elasticsearh被用户搜索到需要在好几段网络的流转。首先从客户端（filebeat或rsyslog)到kafka，再由kafka到logstash，再从logstash到elasticsearch。我们要提高整个集群的性能，首先得有专门的性能测试。但性能测试不能直接做起点到终点的测试，因为当性能不如预期的时候，这种测试无法知道性能的瓶颈到底出现在整个pipe
Elasticsearch：运用 Python 实时通过 Logstash 写入日志到 Elasticsearch
Elastic 中国社区官方博客
10-13 4502
在我之前的文章，我详细地介绍了如何通过 Filebeat 来收集日志并写入到 Elasticsearch。在今天的文章中，我将分享如何使用 Logstash 把日志文件发送到 Elasticsearch。使用 Logstash 的好处是它可以很方便地使用它丰富的过滤器对数据进行清洗以便更好地对数据进行分析。我们使用如下的架构：在今天的展示中，我将使用最新的 Elastic Stack 8.4.3 来进行展示。
Elasticsearch性能监控（一）
HULK一线技术杂谈
01-23 1833
女主宣言在Elasticsearch的运维过程中，我们经常会遇到节点不可用、OOM和垃圾回收时间过长等问题，如果每次都等出问题了才发现，极端情况下会影响业务访问。在日常运维中，我们需要提前预测这些问题，及时处理，防止影响业务。那么问题来了！我们要怎么监测呢？快跟随小编一起来看看吧！本文是Emily Chang的分享《How to monitor Elasticsearch performance》
真相了，ElasticSearch到底有多快？
numbbe的博客
10-15 1394
前言 都说ES全文检索查询效率快，那么到底有多快呢？ 由于当时测试时，没有截屏记录下来，也不想浪费时间再去专门导入一百万数据，然后测试一下效率提升多少了，毕竟已经做过了，重复劳动没必要，导入数据是非常慢的过程。。 思路 ES在项目中收尾后，我想测试一下ES是否真的非常快，所以我向ES库导入了一百万数据。具体过程为，循环向MYSQL中插入数据，然后批量导入到ES库。 实践 一百万的数据，用两种方法进行测试，看效率有多大的提升。 一：MYSQL使用Mybatis的动态sql查询。 二：使用ES全文检索。 首先，
Logstash性能调优
热门推荐
it_lihongmin的博客
03-28 2万+
性能调节 一、性能故障排除 Logstash建议在修改配置项以提高性能的时候，每次只修改一个配置项并观察其性能和资源消耗（cpu、io、内存）。性能检查项包括： 1、检查input和output设备 日志存储的速度和它所连接的服务的速度一样快。日志存储只能像输入和输出目的地一样快速地消耗和生成数据！ 1、检查...
Elasticsearch性能优化汇总.docx
最新发布
07-22
Elasticsearch性能优化汇总.docx
elasticsearch 性能测试
08-06
**Elasticsearch 性能测试** Elasticsearch 是一个分布式、全文检索的搜索引擎，广泛应用于数据分析、日志聚合和实时搜索场景。为了确保系统在高负载下仍能保持高效稳定，性能测试是至关重要的。本篇文章将围绕如何...
es-test:Elasticsearch单节点性能测试
05-25
Elasticsearch尺寸测试 方法 生成以下格式的平面文件或随机日志信息 [source IP address] [yyyymmddHHMMss] GET http://[random uuid]/[random uuid]/[random uuid]/[random uuid] 0 TCP_MISS/200 - [target IP ...
Elasticsearch的性能优化
01-27
Elasticsearch（后文简称ES）的基础是Lucene，所有的索引和文档数据是存储在本地的磁盘中，具体的路径可在 ES的配置文件../config/elasticsearch.yml中配置，如下：磁盘涉及到IO的读写速度问题，因此如果条件允许的...
elasticsearch数据迁移之logstash
菜鸟运维升级之路
11-04 1861
通过第五章内容，我们了解到了elasticdump工具只适合es数据量较小，且索引不是很多、很多的情况下适用，即大部分情况用于备份单个索引。但是在实际生产环境中，迁移整个es集群数据的次数也很多，因此elasticdump就很不适用，如果强硬使用还会导致服务器磁盘IO及CPU过高,容易产生告警，所以本篇文章再给大家推荐一个适用于生产环境的迁移工具logstash。本次分享的logstash迁移方法,最重要的一点就是源es和目标es网络要互相通，如果不通，这种方法会迁移失败。
logstash7.0.1将数据从mysql5.7同步至es7.0.1大数据量下同步慢的问题
java_xxxx的博客
05-24 1576
首先我们分为两种情况 全量导库：以主键id的方式写sql语句分页导入es 增量倒库：按数据修改时间的时间字段进行到库 情况1： 原因：如果我们按修改时间的字段来进行全量倒库，那么logstash的sql语句在大数据量的时候会非常慢，因为logstash在我们的sql之外又套了一层 如：logstash里的mysql.conf文件里的sql SELECT * FROM article_lib WHERE update_time >= '2021-01-01 10:06:00' 但是logstash执行
Logstash导入mysql数据到es慢的解决方法
qq_38798909的博客
10-18 2459
有一个千万级别的数据库存放在Mysql中，由于直接在Mysql中使用语句查询，一次的时间要十几分钟，无法满足应用的需求，因此考虑将其导入到elasticsearch中进行倒排索引查询。 使用的工具是Logstash，但是Logstash的导入速度随着导入数据量的增大变得越来越慢。查询后发现在数据量增大时变慢的原因是因为mysql的深度分页达到了瓶颈。因为logstash在我们自己写的的sql上又加了一层作为封装 在logstash的导入conf配置文件中的statement代码 SELECT * F
logstash 导入数据，查看每秒导入的数据量及已导入数量和已导入时间
sxf_123456的博客
03-30 3928
logstash 导入数据，查看每秒导入的数据量及已导入数量和已导入时间pv命令可以作为实时的标准输入、标准输出监控。$ ./bin/logstash -f generator_dots.conf | pv -abt > /dev/null2.2MiB 0:03:00 [12.5kiB/s]刚开始的时候JVM没有启动起来，速度是 0 B/s，会慢慢增长到稳定状态。在CentOS通过yum安装...
Logstash应用介绍
Brother_ning的博客
01-11 1031
Logstash前世今生，安装使用，语法说明等
Logstash概念与原理
JJBOOM425的博客
07-01 1437
Logstash概念 Logstash是一款开源的数据收集引擎，具备实时管道处理能力。简单来说，logstash作为数据源与数据存储分析工具之间的桥梁，结合ElasticSearch以及Kibana，能够极大方便数据的处理与分析。通过200多个插件，logstash可以接受几乎各种各样的数据。包括日志、网络请求、关系型数据库、传感器或物联网等等。 Logstash工作过程 如上图，Logstash的数据处理过程主要包括：Inputs,Filters,Outputs 三部分，另外在Inputs和Ou
2018.10.9 上线发现elasticsearch写入速度超级慢，原来罪魁祸首是阿里云服务的OSS的锅...
weixin_30477797的博客
10-18 478
问题描述： 按照项目计划，今天上线部署日志系统（收集线上的所有日志，便于问题排查）。 运维按照以前的部署过程，部署elasticsearch,部署结束之后，通过x-pack的monitor发现elasticsearch的索引速度只有几百/秒的索引速度，远远小于同样的配置，没有做优化的另一个es集群。问题就产生了，什么原因呢 问题定位： 下午比较忙，没有时间排查问题，就...
ELK下之Logstash性能调优（从千/秒=>万/秒=>10万/秒）
weixin_43390992的博客
03-31 1万+
介绍 Logstash 是一款强大的数据处理工具，它可以实现数据传输，格式处理，格式化输出，还有强大的插件功能，常用于日志处理。 Logstash优化 Logstash建议在修改配置项以提高性能的时候，每次只修改一个配置项并观察其性能和资源消耗（cpu、io、内存）。性能检查项包括： 1、检查input和output设备 1）、CPU 2）、Memory 3）、io 1、磁盘io 2、网络io 2...
logstash mysql 性能_logstash导入mysql上亿级别数据的效率问题
weixin_39624429的博客
01-19 200
我也遇到你同样问题，可以这么解决：1.给updated_ts时间字段加上索引。2.分批处理原则(1)你的SQL：每批处理100000个SELECT a.party_id AS id ,a.* FROM PARTY_ALL_1 a WHERE a.updated_ts > '2011-11-17 13:23:58' order by a.updated_ts ascLIMIT 100000;...
Elastic search 性能
05-22
Elasticsearch 性能主要受以下因素影响： 1. 硬件性能：Elasticsearch 的性能与硬件有很大关系，包括 CPU、内存、磁盘 I/O 等。因此，为了获得更好的性能，需要选择高性能的硬件。 2. 数据量大小：Elasticsearch ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值