bulk插入 es_如何把数据快速批量添加到Elasticsearch中

最新推荐文章于 2024-05-12 05:14:11 发布
最新推荐文章于 2024-05-12 05:14:11 发布
阅读量824 收藏 2
点赞数
文章标签： bulk插入 es
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_29522547/article/details/113376902
版权

问题来源

最近新做一个项目，有部分搜索比较频繁的数据，而且量级比较大，预计一两年时间很可能达到100G，项目要求不要存在数据库中，最终出来有两个方案，一个是使用Protocol Buffers存储在文件上，另外就是存在Elasticsearch中，也方便搜索，但这两个方案需要验证，到底哪个方案好，从存储速度，搜索响应，占用空间方面做对比，而我负责给出Elasticsearch的部分技术建议！

验证需求

1、数据量：初步只算52亿条

2、写数据速度：需要超过1W条每秒

遇到问题以及解决办法

而在验证过程中遇到了无论是使用Elasticsearch.Net或者PlainElastic.Net来写数据，并且是使用了Bulk的api，加上多线程，都是太慢了，粗略算了一下，大概一秒插入3千条左右，这样的话，52亿条数据，得插到何年何月啊，太慢了，根据查阅资料，网上也有人说插入数据还是挺快 的，一秒可以插入18w条，但具体也没说是用什么办法插入的，所以只能到官方看看了，发现用REST API的_bulk来批量插入，这样速度明显快了，可以达到5到10w条每秒，速度还可以，但问题是这方法是先定义一定格式的json文件，然后再用curl命令去执行Elasticsearch的_bulk来批量插入，所以得把数据写进json文件，然后再通过批处理，执行文件插入数据，另外在生成json文件，文件不能过大，过大会报错࿰

最低0.47元/天 解锁文章
Warsllon
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
多线程批量写入ES工具
1943博客
05-08 2293
业务背景： 读取本地大文件，或者读取ES的文件 进行业务处理 将结果存入ES BlukUtil工具 import com.zrt.govername.waimai.BlukTask; import org.apache.log4j.Logger; import java.util.ArrayList; import java.util.List; import java.util.Map; import java.util.concurrent.*; /** * @Classname B..
已经使用了bluk批量插入数据的时候怎么继续提高es插入数据的效率的几个方案
z710757293的博客
08-19 1011
我在这里总结了几个较为实际的，在已经使用了bluk批量插入数据的时候想要继续提高es插入数据的效率的几个方案 如果你的批量插入还没有使用到bluk，你可以先使用bluk，看看速度有没有满足你的需要，再考虑一下的方案，当然也可以一步到位。 1.使用多线程 多线程并发写入，可以减少每次底层磁盘fsync的次数和开销，从而提高es集群写入的吞吐量。 2.更改refresh参数 在es里面，refresh参数代表着它的刷新频率，刷新频率就是意味着数据在多长的时间里面会刷新，适当的增加刷新时间可以有效的提高es写入的
批量插入千万数据到Elasticsearch之bulkProcessor_bulkprocessor使用
2401_84615813的博客
05-12 384
System.out.println(“操作” + request.numberOfActions() + “条数据”);
bulk插入 es_Elasticsearch 使用bulk批量导入数据
weixin_36059638的博客
01-17 1531
批量导入可以合并多个操作，比如index,delete,update,create等等。也可以帮助从一个索引导入到另一个索引。语法大致如下；action_and_meta_data\noptional_source\naction_and_meta_data\noptional_source\n....action_and_meta_data\noptional_source\n需要注意的是，每一...
bulk插入 es_使用 Python 批量将数据插入到 ES中
weixin_42500156的博客
01-26 1655
1. 插入数据现在我们如果有大量的文档(例如10000000万条文档)需要写入es 的某条索引中，该怎么办呢？1.1 顺序插入import timefrom elasticsearch import Elasticsearches = Elasticsearch()def timer(func):def wrapper(*args, **kwargs):start = time.time()res...
php elasticsearch _bulk,Yii2 – 批量插入数据到 elasticSearch
weixin_39851914的博客
03-11 542
elasticSearch 是目前来说，最强大的开源搜索引擎，对于一些搜索，放到ElasticSearch中，速度会快很多，当然，这个玩意也是非常消耗资源。下面是，使用yii2，将数据批量导入到ES中，单行插入的效率太低，使用批量插入，速度还是可以。安装ElasticSearch 这个参看2. 安装yii2-ElasticSearch插件https://github.com/yiisoft/yii...
bulk插入 es_ElasticSearch的Bulk操作 ES bulk详解
weixin_30934229的博客
01-26 913
elasticsearch bulkApi是什么？和普通的CURD区别在哪里？1.可以批量对多个索引进行增加或者删除等操作，减少网络请求次数，可以显著的提高索引的速度。2.CURD只能对单条数据进行操作，如果是数据导入的情况下QPS会特别高。3.多个API操作之间的结果互不影响。4.注意:bulk操作不能进行代码换行使用Bulk API 实现批量操作4个APIPOST _bulk{action1:...
ElasticSearch中批量操作（批量查询＿mget、批量插入删除_bulk）
IT之一小佬的博客
07-31 2650
ElasticSearch中批量操作（批量查询＿mget、批量插入删除_bulk）
使用Python-elasticsearch-bulk批量快速向elasticsearch插入数据
热门推荐
李谦的博客
10-09 2万+
最近遇到一个批量向elasticsearch插入数据低效率的问题，在网上找到如下解决方案： https://segmentfault.com/q/1010000005027014 对，就是使用elasticsearch内置的bulk API进行批量的插入操作。 同样，python elasticsearch lib也提供了bulk API的功能，因此便有如下代码： from elasticse...
elasticsearch进行批量插入的时候总是少数据
01-07
现有a表和b表，两张mysql数据库的表，需要把两张表的数据取共同字段，合并并导入es中，其中a表共有数据1000条，b表共有数据1200条，a表和b表的主键id都是从1开始递增的，结果导入的时候显示成功导入2200条数据，而...
elasticbulk:将数据批量添加到elasticsearch。 它支持来自PostgreSQL或文件系统的数据流
05-02
将JSON数据添加到Elasticsearch const elasticbulk = require ( 'elasticbulk' ) ;// some array datavar data = [ ] ;elasticbulk . import ( data , { index : 'movies' , type : 'movies' , host : '...
file2es_invented5qw_javajsones_elasticsearch_
09-29
本文将深入探讨如何利用Java API将JSON格式的数据转换并导入到Elasticsearch中，以实现高效的数据管理和检索。 首先，我们来看“java API实现json格式的数据转换”这一主题。Java API提供了丰富的功能来处理JSON...
springBoot整合kafka和elasticSearch,实现批量拉取日志以及批量更新到es里
01-15
在`bulkSaveToEs`方法中，我们使用Elasticsearch的Bulk API进行批量保存，这能显著提高插入效率。`parseLog`方法根据实际日志格式解析并转换日志数据。 为了实现“百万日志秒处理”的目标，我们需要注意优化以下几...
elasticsearch-bulk-insert-plugin.zip
10-29
Elasticsearch-Bulk-Insert-Plugin 是一个专为Kettle设计的插件，主要用于高效地将大量数据批量插入到Elasticsearch（ES）集群中。Elasticsearch是一种流行且功能强大的分布式搜索引擎，常用于大数据分析、日志分析...
方案-基于云架构的校园信息化建设方案.pdf
最新发布
07-29
方案-基于云架构的校园信息化建设方案.pdf
【创新未发表】Matlab实现蛇群优化算法SO-Kmean-Transformer-LSTM负荷预测算法研究.rar
07-29
1.版本：matlab2014/2019a/2021a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 5.作者介绍：某大厂资深算法工程师，从事Matlab算法仿真工作10年；擅长智能优化算法、神经网络预测、信号处理、元胞自动机等多种领域的算法仿真实验，更多仿真源码、数据集定制私信+。 替换数据可以直接使用，注释清楚，适合新手
【创新未发表】Matlab实现北方苍鹰优化算法NGO-Kmean-Transformer-LSTM组合状态识别算法研究.rar
07-29
1.版本：matlab2014/2019a/2021a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 5.作者介绍：某大厂资深算法工程师，从事Matlab算法仿真工作10年；擅长智能优化算法、神经网络预测、信号处理、元胞自动机等多种领域的算法仿真实验，更多仿真源码、数据集定制私信+。 替换数据可以直接使用，注释清楚，适合新手
在使用elasticsearch-sql框架中,怎么使用sql数据插入ES
05-24
使用elasticsearch-sql框架，可以通过以下步骤将SQL数据插入ES： 1. 创建一个ES索引，定义字段映射 2. 使用ES-SQL框架连接ES，执行SQL查询获取数据 3. 遍历查询结果，使用ES-SQL框架提供的API将数据插入ES 下面是一个示例代码，演示如何使用ES-SQL框架将SQL数据插入ES： ```java import io.github.iamazy.elasticsearch.dsl.sql.parser.SqlParser; import org.elasticsearch.action.bulk.BulkRequest; import org.elasticsearch.action.bulk.BulkResponse; import org.elasticsearch.client.RequestOptions; import org.elasticsearch.client.RestHighLevelClient; import org.elasticsearch.index.query.QueryBuilders; import org.elasticsearch.rest.RestStatus; import org.elasticsearch.search.builder.SearchSourceBuilder; import org.nlpcn.es4sql.exception.SqlParseException; import org.nlpcn.es4sql.query.QueryAction; import org.nlpcn.es4sql.query.SqlElasticRequestBuilder; import java.io.IOException; import java.sql.*; public class SqlToEs { // 定义ES索引名称 private static final String INDEX_NAME = "my_index"; // 定义ES连接客户端 private RestHighLevelClient client; // 定义SQL查询语句 private String sql = "SELECT * FROM my_table WHERE id > 100"; public SqlToEs() { // 初始化ES连接客户端 client = new RestHighLevelClient(); } public void insert() throws SQLException, IOException, SqlParseException { // 解析SQL查询语句 SqlParser sqlParser = new SqlParser(); QueryAction queryAction = sqlParser.parseSelect(sql); // 构建ES查询请求 SqlElasticRequestBuilder requestBuilder = queryAction.explain(); SearchSourceBuilder sourceBuilder = requestBuilder.getSourceBuilder(); sourceBuilder.query(QueryBuilders.matchAllQuery()); String query = sourceBuilder.toString(); // 执行SQL查询获取数据 Connection conn = DriverManager.getConnection("jdbc:mysql://localhost:3306/my_database", "user", "password"); Statement stmt = conn.createStatement(); ResultSet rs = stmt.executeQuery(query); // 遍历查询结果，将数据插入ES BulkRequest request = new BulkRequest(); while (rs.next()) { // 创建一个ES文档 Map<String, Object> document = new HashMap<>(); document.put("id", rs.getInt("id")); document.put("name", rs.getString("name")); document.put("age", rs.getInt("age")); // 添加到批量请求中 request.add(new IndexRequest(INDEX_NAME).source(document)); } // 执行批量请求 BulkResponse bulkResponse = client.bulk(request, RequestOptions.DEFAULT); if (bulkResponse.status() == RestStatus.OK) { System.out.println("数据插入成功！"); } } } ``` 这里使用ES-SQL框架解析SQL查询语句，并构建ES查询请求。然后执行SQL查询获取数据，并遍历查询结果，将数据插入ES。最后使用ES客户端执行批量请求，将数据插入ES。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值