Elasticsearch批量导入数据

最新推荐文章于 2025-04-01 08:55:22 发布
最新推荐文章于 2025-04-01 08:55:22 发布
阅读量1.2k 收藏 2
点赞数
文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/String_N/article/details/105746545
版权

这里用的是curl命令导入，在cmd里面完成的
把curl.exe和要上传的json文件放在同一个文件夹里
这里示例用的是weibo_text.ison
打开cmd，进入curl解压所在的文件夹，我的路径是E:\1软件\CURL
输入代码：curl -H "Content-Type: application/json" -XPOST "localhost:9200/weibo/date/_bulk?refresh" --data-binary "@Test.json"

代码解释：/weibo/date是输入数据的文件名称，@Test.json是要上传的json文件的名称，注意前面要加@
在这里插入图片描述
贴一下我的数据格式：（之前只有value值就会导入失败，必要每条数据都加上它的文件名称）
在这里插入图片描述

运行成这样就是成功了：
在这里插入图片描述
打开Kibana看一下结果：

最低0.47元/天 解锁文章
String_N
关注
excel学习--导入txt数据
WC_peng的博客
01-02 718
导入数据如下txt文件，该文件以制表符间隔每列数据。 在Excel中“数据”-“从文本“选项，进行数据导入。 3.选择【分割符号】-【制表符】-【常规】，即可完成
ElasticSearch入门（二）批量导入数据（Postman与Kibana）
2401_84048006的博客
04-23 971
对于面试，一定要有良好的心态，这位小伙伴面试美团的时候没有被前面阿里的面试影响到，发挥也很正常，也就能顺利拿下美团的offer。小编还整理了大厂java程序员面试涉及到的绝大部分面试题及答案，希望能帮助到大家，也祝愿大家都能够升职加薪！《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！小编整理的资料能够帮助到大家！也祝愿大家都能够升职加薪！《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！
Elasticsearch之导入导出
梁童鞋的博客
02-13 8157
ES数据导入导出实践
【es】索引数据批量写入
最新发布
weixin_43346403的博客
04-01 178
2.可以在一个批量中同时使用CREATE,INDEX,UPDATE,DELETE;index 是操作类型，_id 是主键。下一行的JSON表示要添加的文档。
Elasticsearch 批量导入数据
热门推荐
03-10 3万+
前言 Elasticsearch 是一款非常高效的全文检索引擎。 Elasticsearch 可以非常方便地进行数据的多维分析，所以大数据分析领域也经常会见到它的身影，生产环境中绝大部分新产生的数据可以通过应用直接导入，但是历史或初始数据可能会需要单独处理，这种情况下可能遇到需要导入大量数据的情况 这里简单分享一下批量导入数据的操作方法与相关基础，还有可能会碰到的问题，详细内容可以参考 官方
ElasticSearch大批量数据入库
春华秋实
05-12 3860
1.bulk批量导入数据 curl 172.17.1.15:9200/_bulk?pretty --data-binary @E:\Bin\Debug\testdata\437714060.jsoncurl 172.17.1.15:9200/_bulk?pretty --data-binary @E:\Bin\Debug\testdata\743719428.jsoncurl 172.17.
elasticsearch数据导出/导入
BrotherDong90的专栏
09-25 2万+
官方提供了snapshot方式，是索引文件的方式，但是有时候我们需要原始数据，所以，elasticdump就诞生了，方式是从es中查询数据。比较方便，但是，如果数据量比较大，最好按照一定规则来导出，比如按天导出，这样如果出现问题比较好处理。 https://github.com/taskrabbit/elasticsearch-dump?utm_source=dbweekly&utm_medium
基于Spring Batch向Elasticsearch批量导入数据示例
08-27
基于Spring Batch向Elasticsearch批量导入数据示例 本文介绍了基于Spring Batch向Elasticsearch批量导入数据示例，旨在解决大规模数据从数据库导入Elasticsearch时的效率问题。Spring Batch框架使用ItemReader分页...
elasticsearch进行批量插入的时候总是少数据
01-07
现有a表和b表，两张mysql数据库的表，需要把两张表的数据取共同字段，合并并导入es中，其中a表共有数据1000条，b表共有数据1200条，a表和b表的主键id都是从1开始递增的，结果导入的时候显示成功导入2200条数据，而...
Mysql大批量数据导入ElasticSearch
Stay Focused And Work Hard !!!
03-29 3万+
注：笔者环境 ES6.6.2、linux centos6.9、mysql8.0、三个节点、节点内存64G、八核CPU 场景：通过Logstash插件批量导数据，个人感觉出现各种奇怪的问题，例如ES 内存暴满，mysql 所在服务器内存暴，最主要的是在一次导数时不能所导的数据量不能太大。经过一次次试探Logstash与优化Logstash导数的最后，终于还是动手直接运用ES提供的api进行导数了...
Elasticsearch使用Http请求实现数据的批量导入
一恍过去
08-17 1万+
使用Http请求实现数据的批量导入
利用java多线程技术往Elasticsearch导入亿级数据
qq_41490913的博客
03-16 469
前言 近期接到一个任务，需要改造现有从mysql往Elasticsearch导入数据MTE(mysqlToEs)小工具，由于之前采用单线程导入，千亿数据需要两周左右的时间才能导入完成，导入效率非常低。所以楼主花了3天的时间，利用java线程池框架Executors中的FixedThreadPool线程池重写了MTE导入工具，单台服务器导入效率提高十几倍（合理调整线程数据，效率更高）。 关键技术栈 ...
elasticsearch通过文件批量导入数据
进击的豌豆的博客
12-30 3719
elasticsearch通过文件批量导入数据
ElasticSearch中的批量导入Bulk
aben_sky的专栏
10-15 1559
版本 7.7, 官方文档 https://www.elastic.co/guide/en/elasticsearch/reference/7.7/docs-bu...
ElasticSearch（11）bulk批量操作与导入数据
учёба
12-27 4252
1 项目环境准备 springboot整合es：项目代码说明 2 bulk批量操作 都是使用add()方法实现的 未执行之前： package com.yy.esdemo; import org.elasticsearch.action.bulk.BulkRequest; import org.elasticsearch.action.bulk.BulkResponse; import org.elasticsearch.action.delete.DeleteRequest; import or
1亿条数据如何快速导入到Elasticsearch中
记录技术上的一些解决方案
10-12 1156
另外，如果你的数据包含敏感信息，请确保在导入过程中进行适当的安全措施。确保你的数据已经准备好，并且符合Elasticsearch的索引要求。在导入数据之前，确保你的Elasticsearch索引设置是合理的。这可能包括分片和副本的设置，以及合适的映射。在导入大量数据时，可能需要调整Elasticsearch的配置，以确保它具有足够的内存和资源来处理导入操作。将数据分成小批次，每批次包含一定数量的数据。在导入数据之前，务必备份你的Elasticsearch数据，以防万一发生意外情况。
大批量向Elasticsearch中跑入数据的方式
IT夜幕的博客
01-23 2294
Elasticsearch数据入库的方式
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值