elasticsearch 批量导入数据

最新推荐文章于 2024-04-04 03:29:52 发布
最新推荐文章于 2024-04-04 03:29:52 发布
阅读量3.9k 收藏 4
点赞数 1
分类专栏： elasticsearch es库 文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013066244/article/details/74974646
版权

环境

虚拟机：centos7
操作系统：win7
elasticsearch：5.4.3

摘要

假设你有一批现成的数据，比如：这里，你先把其复制保存在文件名为accounts.json的文件中。

这里特别注意最后一行数据一定要有换行，否则最后那条数据不会插入数据库。

上传文件

把accounts.json文件上传到服务器。（我默认你是启动了elasticsearch服务的）

接着在accounts.json目录下，执行以下命令：

curl -u elastic:changeme -H "Content-Type: application/json" -XPOST '192.168.116.19:9200/bank/account/_bulk?pretty&refresh' --data-binary "@accounts.json"

我这里有-u elastic:changeme，是因为我安装了x-pack，所以需要，要是你没有安装，就不需要。

接着在执行http://192.168.116.19:9200/_cat/indices?v查看：
部分信息如下：

health status index uuid pri rep docs.count docs.deleted store.size pri.store.size
green  open bank -ais07NBQm6kK_ZqihP6xQ 5 1 1000 0 1.2mb 640.2kb

我们需要查看docs.count数字，表示你目前库里面有多少条数据

山鬼谣me
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
elasticsearch数据导入导出
lln_avaj的专栏
03-01 3768
1，elasticsearch导入json格式数据，代码如下： try { //读取刚才导出的ES数据 BufferedReader br = new BufferedReader(new FileReader("D:/item6.json")); String json = null; int count = 0; //开启批量插入 Bulk
Elasticsearch批量插入数据
bibiyifan95117的博客
08-23 6002
Elasticsearch批量插入数据 使用bulk批量操作数据库 1. 创建批量操作文件 格式: {"index":{"_index":"home","_type":"home",""_id":"2"}} {"id": 2, "location": "南京市栖霞区马群街道29号", "money": 3000, "area":80, "type": "三居室", "style": "整租"} 第...
Elasticsearch 批量导入数据
热门推荐
03-10 3万+
前言 Elasticsearch 是一款非常高效的全文检索引擎。 Elasticsearch 可以非常方便地进行数据的多维分析，所以大数据分析领域也经常会见到它的身影，生产环境中绝大部分新产生的数据可以通过应用直接导入，但是历史或初始数据可能会需要单独处理，这种情况下可能遇到需要导入大量数据的情况 这里简单分享一下批量导入数据的操作方法与相关基础，还有可能会碰到的问题，详细内容可以参考 官方
elasticsearch通过文件批量导入数据
进击的豌豆的博客
12-30 3243
elasticsearch通过文件批量导入数据
ElasticSearch入门（二）批量导入数据（Postman与Kibana
最新发布
2401_84006805的博客
04-04 2139
整理的这些资料希望对Java开发的朋友们有所参考以及少走弯路，本文的重点是你有没有收获与成长，其余的都不重要，希望读者们能谨记这一点。其实面试这一块早在第一个说的25大面试专题就全都有的。以上提及的这些全部的面试+学习的各种笔记资料，我这差不多来回搞了三个多月，收集整理真的很不容易，其中还有很多自己的一些知识总结。正是因为很麻烦，所以对以上这些学习复习资料感兴趣一个人可以走的很快，但一群人才能走的更远。如果你从事以下工作或对以下感兴趣，欢迎戳这里加入程序员的圈子，让我们一起学习成长！
ElasticSearch（11）bulk批量操作与导入数据
учёба
12-27 3893
1 项目环境准备 springboot整合es：项目代码说明 2 bulk批量操作 都是使用add()方法实现的 未执行之前： package com.yy.esdemo; import org.elasticsearch.action.bulk.BulkRequest; import org.elasticsearch.action.bulk.BulkResponse; import org.elasticsearch.action.delete.DeleteRequest; import or
elasticsearch数据批量导入的两种思路
qq_37256882的博客
01-08 1092
因为文件本身已经是json格式，所以可以直接使用filebeat来导入。然后通过指定配置文件的方式，一次性启动。通过浏览器插件查看，已经写入成功。使用postman来导入。使用python脚本。
1亿条数据如何快速导入到Elasticsearch中
记录技术上的一些解决方案
10-12 768
另外，如果你的数据包含敏感信息，请确保在导入过程中进行适当的安全措施。确保你的数据已经准备好，并且符合Elasticsearch的索引要求。在导入数据之前，确保你的Elasticsearch索引设置是合理的。这可能包括分片和副本的设置，以及合适的映射。在导入大量数据时，可能需要调整Elasticsearch的配置，以确保它具有足够的内存和资源来处理导入操作。将数据分成小批次，每批次包含一定数量的数据。在导入数据之前，务必备份你的Elasticsearch数据，以防万一发生意外情况。
基于Spring Batch向Elasticsearch批量导入数据示例
08-27
基于Spring Batch向Elasticsearch批量导入数据示例 本文介绍了基于Spring Batch向Elasticsearch批量导入数据示例，旨在解决大规模数据从数据库导入Elasticsearch时的效率问题。Spring Batch框架使用ItemReader分页...
elasticsearch进行批量插入的时候总是少数据
01-07
现有a表和b表，两张mysql数据库的表，需要把两张表的数据取共同字段，合并并导入es中，其中a表共有数据1000条，b表共有数据1200条，a表和b表的主键id都是从1开始递增的，结果导入的时候显示成功导入2200条数据，而...
Oracle数据批量导入elasticsearch脚本
12-31
Linux环境下使用sqlplus工具将oracle中的数据导入到elasticsearch中。只需要在es_bulk_tool.properties配置sql即可实现数据的批量导入。在elasticsearch6中测试通过。shell脚本需要使用sqlplus。
python批量导入数据进Elasticsearch的实例
09-20
今天小编就为大家分享一篇python批量导入数据进Elasticsearch的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
curl.rar ElasticSearch 批量导入一批数据
03-27
批量导入数据是ElasticSearch日常运维中的常见任务，可以极大地提高数据处理效率。在这个场景中，我们使用了一个名为`curl`的命令行工具来完成批量导入。`curl`是一个用于传输数据的工具，支持多种协议，包括HTTP、...
ElasticSearch（8）高级查询（脚本）：批量操作导入数据
учёба
01-10 958
批量操作 Bulk（大量）批量操作是将文档的增删改查一些列操作，通过一次请求全都做完。减少网络传输次数。 语法： POST /_bulk {"action": {"metadata"}} {"data"} 示例： POST _bulk {"delete":{"_index":"person", "id":"5"}} {"create":{"_index":"person", "id":"5"}} {"name":"六号”,"age":20, "address":"北京”} {"update":{"_ind
ElasticSearch入门（二）批量导入数据（Postman与Kibana）
Heartsuit的博客
02-23 1万+
背景 前面安装运行了ElasticSearch，在实际操作之前，先准备好数据，实际中一般是通过Logstash等插件实现其他数据库到ElasticSearch的同步，这里的演示采用直接导入的方式。 ElasticSearch官方有个数据集，文件内容的格式以行分隔： 每两行为一组，第一行指定索引id（也可为空），第二行为实际的数据体。 {"index":{"_id":"1"}} {"accoun...
ElasticSearch中的批量导入Bulk
aben_sky的专栏
10-15 1065
版本 7.7, 官方文档 https://www.elastic.co/guide/en/elasticsearch/reference/7.7/docs-bu...
elasticsearch批量导入json数据
SevenBerry的博客
05-19 5031
方法1：使用 postman 导入 json 数据集的内容以行作为分割，不要添加除换行以外的空格 每两行作为一条文档，第一行的 _index 指明索引，_id 指明该条文档的id；第二行为具体的数据内容； { "index" : { "_index" : "material", "_id": 1} } {"name_ch": "阿贝数","name_en": "Abbe number","explain": "即倒色散系数见平均色散。"} 假设写入 es 数据库的 material 索引中； 使
elasticsearch新增索引、添加数据、批量添加
weixin_42772168的博客
02-26 2700
文章目录前言一、新增索引二、添加文档三、批量导入四、删除文档五、删除索引总结 前言 提示：以下是本篇文章正文内容，下面案例可供参考 一、新增索引 代码如下（示例）： public CreateIndexResponse indexCreation(String indexName, String mapping, Integer replicas, Integer shards) throws IOException, IndexException { //1.使用client获取操作
windows elasticsearch 文件批量导入数据
11-25
以下是在Windows环境下使用Elasticsearch批量导入数据的步骤： 1. 确保已经安装了Elasticsearch和Java环境，并将它们添加到系统环境变量中。 2. 准备好要导入的数据文件，例如data.json，确保文件格式正确。 3. 在命令行中进入到Elasticsearch的bin目录下，执行以下命令创建索引： ```shell curl -X PUT "localhost:9200/my_index?pretty" -H 'Content-Type: application/json' -d' { "settings": { "number_of_shards": 1, "number_of_replicas": 0 }, "mappings": { "properties": { "title": { "type": "text" }, "author": { "type": "text" }, "content": { "type": "text" } } } } ' ``` 其中，my_index是你要创建的索引名称，title、author、content是你要导入的数据文件中的字段名称。 4. 执行以下命令将数据文件导入到Elasticsearch中： ```shell curl -H "Content-Type: application/x-ndjson" -XPOST "localhost:9200/my_index/_bulk?pretty" --data-binary "@data.json" ``` 其中，my_index是你要导入数据的索引名称，data.json是你要导入的数据文件名称。 5. 导入完成后，可以执行以下命令查询导入的数据： ```shell curl -X GET "localhost:9200/my_index/_search?pretty" ``` 其中，my_index是你要查询的索引名称。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

山鬼谣me

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值