elasticsearch 批量入库bulk性能测试

最新推荐文章于 2024-05-22 14:15:35 发布
最新推荐文章于 2024-05-22 14:15:35 发布
阅读量503 收藏
点赞数
分类专栏： 搜索引擎，爬虫 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaomin1991222/article/details/84748472
版权

经过测试不同的分词器性能不能同。

 

1万条数据  

分词器                          时间

es默认分词器               1秒多

ik                                   60秒左右

mmseg                         1秒多

ansj                               未知

paoding                        未知

keyword                        1秒多

 

 

后来更新ik版本发现性能有所提升，但是还是没有mmseg性能高，应该mmseg分词分的比ik少。

 

插入主要的性能还是分词器的性能

 

 

 

http://my.oschina.net/naqin/blog/347200

xiaomin_____
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
elasticsearch 打分 源码_Elasticsearch性能优化之valueCountAgg的8~20倍性能提升
weixin_39716510的博客
11-30 339
Elasticsearch是一款优秀的开源搜索引擎，其除了可以完成复杂的query请求外，还可以做一些统计聚合的任务，类似sql中的max、sum、count、avg等。事情的缘起在于某一次对Elasticsearch的性能测试中发现，countAgg的性能会比sum等agg性能要低的多，甚至不在一个数量级。 先说结论，在计算double、long等数值类型时候，提高8倍~9左右性能；在计算ge...
es-test:Elasticsearch单节点性能测试
05-25
Elasticsearch尺寸测试 方法 生成以下格式的平面文件或随机日志信息 [source IP address] [yyyymmddHHMMss] GET http://[random uuid]/[random uuid]/[random uuid]/[random uuid] 0 TCP_MISS/200 - [target IP ...
elasticsearch 性能测试
大齐的学习笔记
06-26 1575
最近花很大的经历来做性能测试，把结果整理到了ppt中，可能有个别地方不准，但是可以看看一个趋势。 主要分为两部分，一部分是写入elasticsearch性能，一部分是查询测试，elasticsearch的查询性能。 当然在elasticsearch1.3.0之后elasticsearch会提供benchmark来评估服务器性能实用情况。 硬件配置 主机 cpu mem dis...
ES性能压测工具esrally —— 筑梦之路
最新发布
筑梦之路
05-22 1229
压测，即压力测试，是指对计算机系统、软件应用或网络服务等进行负载测试，以模拟实际使用场景中的高负载情况，检验系统在压力下的性能、稳定性和可靠性。压测旨在确定系统在正常或极端负载下的性能极限，以便在生产环境中提供最佳的性能和可靠性。
elasticsearch 批量入库bulk性能测试
chian1949的博客
11-21 1145
背景 我的需求很简单，就是用httpCilent组件，通过REST批量接口bulk提交一些数据。跑一下代码1W条数据导入完成耗时0.843秒，到这里我本可以高高兴兴的交差了，但是我又干了一件事情，用Java原生客户端跑了1W条数据，发现导入速度是0.359秒。管他呢，完成任...
elasticsearch性能测试工具rally深入详解
热门推荐
铭毅天下Elasticsearch
08-08 4万+
题记elasticsearch性能测试研究了很久，自己想过通过批量导入数据，然后记录时间，统计CPU、内存等变化，计算得出某个性能指标。但显然，数据量起伏不定，非常不准确。 研究发现，github上提供了rally作为elasticsearch的性能测试工具，较好的解决了es性能测试问题。1、esrally功能：es的性能测试工具。esrally不支持windows版本，目前只支持Linux和Ma
基于Spring Batch向Elasticsearch批量导入数据示例
08-27
基于Spring Batch向Elasticsearch批量导入数据示例 本文介绍了基于Spring Batch向Elasticsearch批量导入数据示例，旨在解决大规模数据从数据库导入Elasticsearch时的效率问题。Spring Batch框架使用ItemReader分页...
Elasticsearch进阶（一）写入性能基准测试写入性能优化
03-01
进入正题之前，解决之前的一个疑问：Elasticsearch集群是否已经正确工作？截图时，只上传过一次小测试数据（143万条），设置为：从图中可以看出，ip10节点上设置的数据目录：data1和data2目录工作正常，但是数据相同...
elasticsearch进行批量插入的时候总是少数据
01-07
现有a表和b表，两张mysql数据库的表，需要把两张表的数据取共同字段，合并并导入es中，其中a表共有数据1000条，b表共有数据1200条，a表和b表的主键id都是从1开始递增的，结果导入的时候显示成功导入2200条数据，而...
python3实现elasticsearch批量更新数据
01-20
废话不多说，直接上代码！ updateBody = { query:{ range:{ write_date: { gte: 2019-01-15 12:30:17, lte: now } } }, script: { inline: ctx._source.index = params.index, params: { ...}
SpringBoot 集成Elastic Search，写入性能优化尝试
splf32的博客
04-19 1360
项目计划将采集的设备日志数据存储在elastic search中，所以开始尝试使用elastic search替换原来的关系型数据库。 （一）SpringBoot 集成Elastic Search 首先将项目的Springboot版本升到最新版：2.2.6，该版本支持ElasticSearch的6.8.7版本 <parent> <groupId>org.sp...
提高ElasticSearch插入数据性能
weixin_34341229的博客
03-29 1312
2019独角兽企业重金招聘Python工程师标准>>> ...
Elasticsearch性能优化实践
不见其长，日有所长
02-26 1647
1. 前言 Elasticsearch是一款流行的分布式开源搜索和数据分析引擎，具备高性能、易扩展、容错性强等特点。它强化了Apache Lucene的搜索能力，把掌控海量数据索引和查询的方式提升到一个新的层次。本文结合开源社区和阿里云平台的实践经验，探讨如何调优Elasticsearch的性能提高索引和查询吞吐量。 2. Elasticsearch部署建议 2.1 选择合理的硬件配置，尽可能使用...
ElasticSearch优化方案
Xyulu的博客
08-06 1028
文章目录前言一、硬件优化二、分片策略1、合理修改分片数2.读入数据总结 前言 项目性能测试的时候存在每条任务都有百万数据量入库的情况，ES入库速度较慢，导致Kafka消息堆积，需要提升入库速率，如下为参考收集整理的内容。 一、硬件优化 使用SSD代替机械硬盘 使用多块硬盘 （Elasticsearch 通过多个 path.data 目录配置） 当前服务器使用的均是1T的SSD且暂不支持使用多块硬盘 二、分片策略 1、合理修改分片数 建议：集群节点的个数 <= 分片个数 <=
es实战-数据入库详解refresh，flush，translog
qq_16164711的博客
10-15 1335
由于这部分内容涉及到很多 Lucene 和操作系统等内容，个人理解可能不到位或者有误，还请各位看客指出存在的问题，不吝赐教 1. 重要知识点 1. refresh： 当我们向ES发送请求的时候，我们发现es貌似可以在我们发请求的同时进行搜索。而这个实时建索引并可以被搜索的过程实际上是一次es 索引提交（commit）的过程，如果这个提交的过程直接将数据写入磁盘（fsync）必然会影响性能，所以es中设计了一种机制，即：先将index-buffer中文档（document）解析完成的segment写到file
降低85%的gc发生率：ES的GC调优实践！
大数据，Linux，服务器，技术、架构，方案
03-06 805
经过调优对比，我统计了调优前后各1天的日志内容，统计发现，gc发生率显著下降了85%，且结合索引的拆分操作，最终延迟下降了20倍，分享参数如下
Elasticsearch （优化）写入速度优化
weixin_45417821的博客
06-04 1300
文章目录批量数据提交优化存储设备合理使用合并减少Refresh的次数加大Flush设置减少副本的数量 ES的默认配置，是综合了数据可靠性、写入速度、搜索实时性等因素。实际使用时，我们需要根据公司要求，进行偏向性的优化。 针对于搜索性能要求不高，但是对写入要求较高的场景，我们需要尽可能的选择恰当写优化策略。综合来说，可以考虑以下几个方面来提升写索引的性能： 加大 Translog Flush ，目的是降低 Iops、Writeblock。 增加 Index Refresh 间隔，目的是减少 Segment
生成 Elasticsearch POST /_bulk 批量上传例子
04-01
以下是一个示例的 Elasticsearch POST /_bulk 批量上传请求： ``` POST /_bulk {"index":{"_index":"my_index","_id":"1"}} {"name":"John Doe","age":32,"email":"john.doe@example.com"} {"index":{"_index":"my_...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值