往ES插入百万条数据的耗时统计

最新推荐文章于 2024-07-03 19:54:43 发布
最新推荐文章于 2024-07-03 19:54:43 发布
阅读量8.1k 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013045102/article/details/90167958
版权

1、背景

最近在搞一个政府信息化的项目，此项目基于检索来实现。上线前，需要测试系统，其中造假数据百万条，看接口的检索性能如何

2、操作

新建了一个备份索引，同时增加了一个测试入库接口，用到线程池并发入库

我的电脑是4核的喔创建了5个线程，10个任务执行插入操作，

最后将备份索引的数据reindex到原索引

3、耗时

postman调用接口，耗时大概100分钟，平均1万/min

reindex 时耗时2min左右,平均50万/min

u013045102
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
bulk插入 es_如何把数据快速批量添加到Elasticsearch中
weixin_29522547的博客
01-26 830
问题来源最近新做一个项目，有部分搜索比较频繁的数据，而且量级比较大，预计一两年时间很可能达到100G，项目要求不要存在数据库中，最终出来有两个方案，一个是使用Protocol Buffers存储在文件上，另外就是存在Elasticsearch中，也方便搜索，但这两个方案需要验证，到底哪个方案好，从存储速度，搜索响应，占用空间方面做对比，而我负责给出Elasticsearch的部分技术建议！验证需求...
【解决方案】MySQL5.7 百万数据迁移到 ElasticSearch7.x 的思考
Reische的博客
12-07 473
在日常项目开发中，可能会遇到使用 ES 做关键词搜索的场景，但是一般来说业务数据是不会直接通过 CRUD 写进 ES 的。因为这可能违背了 ES 是用来查询的初衷，数据持久化的事情可以交给数据库来做。那么，这里就有一个显而易见的问题：ES 里的数据从哪里来？本文介绍的就是如何将 MySQL 的表数据迁移到 ES 的全过程。
DataTable 快速导入数据库——百万条数据只需几秒
12-21
DataTable 快速导入数据库——百万条数据只需几秒
数据存储方案选择：ES、HBase、Redis、MySQL与MongoDB的应用场景分析
最新发布
东境物语
07-03 3095
本文旨在探讨ES、HBase、Redis、MySQL和MongoDB这五种技术的核心特性和优势，通过分析它们在不同应用场景下的表现，为技术选型提供指导和建议。
记录一次超大(200+G)数据量导入ES的解决办法
⁣⁣⁣⁣　⁣⁣⁣⁣
09-23 2558
CSV超大文件(20G左右)编辑，读取，ES单机大数据量写入
向es中插入大数据量数据解决方案
blame_a的博客
11-10 3347
1.解决方案: 生成Vo 实体类生成数据转换为JsonString 写入本地文件 再使用curl 命令向es中插入json文件 curl -H "Content-Type: application/json" -XPOST localhost:9201/_bulk --data-binary @demo.json 十万条数据大概时间:3min 2.遇到的问题: 在生成的json文件中没有指定对应的索引和文档类型 要使用root权限 3.使用方法 ​ a.在venus-data-collec
es 插入数据_记录一次Java导入百万级数据到Elasticsearch经历
weixin_39517902的博客
11-29 3271
环境配置SpringBoot-2.1.8 + Elasticsearch-6.2.2版本问题spring官网提供elasticsearchspring-data-elasticsearchspring-boot-starter-data-elasticsearch有三种集成方式可选择，我这里的springboot2.1.8对elasticsearch最高支持到6.2.2连接方式REST API，端...
测试百万级数据量从mysql导入ES
程序员浩浩的博客
06-09 566
测试百万级数据量从mysql导入ES
Python中elasticsearch插入和更新数据的实现方法
09-20
在Elasticsearch中插入数据主要通过索引操作实现。索引操作即向一个指定的索引中添加文档。文档可以看作是Elasticsearch中的数据单元，可以是JSON格式。在Python中，可以使用elasticsearch-py库中的`index`方法来...
elasticsearch进行批量插入的时候总是少数据
01-07
现有a表和b表，两张mysql数据库的表，需要把两张表的数据取共同字段，合并并导入es中，其中a表共有数据1000条，b表共有数据1200条，a表和b表的主键id都是从1开始递增的，结果导入的时候显示成功导入2200条数据，而...
Elasticsearch测试数据，3160条商品数据
11-20
Elasticsearch测试数据，3160条商品数据 数据导入命令： curl -XPOST 'localhost:9200/pditems/_bulk' -H 'Content-Type:application/json' --data-binary @pditems.json
python消费kafka数据批量插入到es的方法
01-20
1、es的批量插入 这是为了方便后期配置的更改，把配置信息放在logging.conf中 用elasticsearch来实现批量操作，先安装依赖包，sudo pip install Elasticsearch2 from elasticsearch import Elasticsearch class ...
使用python生成大量数据写入es数据库并查询操作（聚合）
IT之一小佬的博客
09-11 3120
使用python生成大量数据写入es数据库并查询操作（聚合）
Elasticsearch 使用updateByQuery批量更新数据
热门推荐
coding_ws的博客
03-05 1万+
Elasticsearch 使用updateByQuery批量更新数据 对于批量更新数据，通常我们有2种做法 按照更新的条件，从es查询出所有待更新的记录的id，然后根据id再通过Bulk.Builder接口完成批量更新 直接使用updateByQuery接口完成批量更新的操作 可以看出第一种更新方法在更新前需要先查询一次es，接下来依次来看每种更新方法的详细使用： 首先创建一个索引put http://localhost:9200/user { "mappings":{ "_doc":{
es父子结构查询_“百万级”商品数据实时同步，查询结果秒出
xu704742366的博客
03-08 310
https://blog.csdn.net/weixin_35439783/article/details/112395903
腾讯千亿级别检索ES生产优化经验
Angus
03-13 345
腾讯系，ES内核优化好文推荐！
es 大批量写入提高性能的策略
花&败
08-15 9850
1、用bulk批量写入 你如果要往es里面灌入数据的话，那么根据你的业务场景来，如果你的业务场景可以支持让你将一批数据聚合起来，一次性写入es，那么就尽量采用bulk的方式，每次批量写个几百条这样子。 bulk批量写入的性能比你一条一条写入大量的document的性能要好很多。但是如果要知道一个bulk请求最佳的大小，需要对单个es node的单个shard做压测。先bulk写入100个document，然后200个，400个，以此类推，每次都将bulk size加倍一次。如果bulk写入性能开始变平
es大量数据导入效率优化
M983373615的博客
10-20 1416
项目需求中，简历信息涉及10张表，需要联查获取组装数据，实测，查询一条数据需要5s，大概算了一下总时间的话需要60个小时左右导入完成。 优化方法：数据分段+多线程 1、10万条数据为例，数据分成10份，每一份10000条； 2、每一份数据起一个线程，10个线程， 代码大致如下： public Result putAllJobUserInfo() throws ExecutionException, InterruptedException { long l = System.currentT
ES 在数据量很大的情况下如何提高查询效率
没有伞的孩子必须努力奔跑！—小林
03-10 920
如果面试的时候碰到这样一个面试题：ES 在数据量很大的情况下(数十亿级别)如何提高查询效率? 这个问题说白了，就是看你有没有实际用过 ES，因为啥?其实 ES 性能并没有你想象中那么好的。 很多时候数据量大了，特别是有几亿条数据的时候，可能你会懵逼的发现，跑个搜索怎么一下 5~10s，坑爹了。 第一次搜索的时候，是 5~10s，后面反而就快了，可能就几百毫秒。 你就很懵，每个用户第一...
Elasticsearch插入数据
07-27
要在Elasticsearch中插入数据，你需要使用Elasticsearch提供的API。下面是一个简单的示例，演示如何使用Python的elasticsearch模块插入数据： ```python from elasticsearch import Elasticsearch # 连接到Elasticsearch实例 es = Elasticsearch(hosts=["localhost"]) # 定义要插入的数据 data = { "title": "Elasticsearch入门指南", "author": "C知道", "content": "这是一篇关于如何使用Elasticsearch的入门指南。" } # 插入数据 response = es.index(index="my_index", doc_type="_doc", body=data) # 检查插入是否成功 if response["result"] == "created": print("数据插入成功！") else: print("数据插入失败。") ``` 在上面的示例中，我们首先创建一个Elasticsearch实例`es`并连接到本地的Elasticsearch服务。然后，我们定义要插入的数据，其中包括一个标题、作者和内容。接下来，我们使用`es.index()`方法将数据插入到名为"my_index"的索引中。最后，我们检查插入操作的结果。 请注意，上面的示例仅为演示目的，实际应用中可能需要根据具体需求进行修改。此外，还可以使用其他编程语言或Elasticsearch提供的其他API来插入数据。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值