elasticsearch bulk数据--ES批量导入json数据

最新推荐文章于 2024-07-11 15:29:16 发布

后打开撒打发了

最新推荐文章于 2024-07-11 15:29:16 发布

阅读量1.1w

点赞数 1

分类专栏：云计算&分布式 ElasticSearch（ELK集群）文章标签： elasticsearch ES ELK json Logstash

本文链接：https://blog.csdn.net/chenxun_2010/article/details/78603990

版权

本文介绍了如何使用Elasticsearch的Bulk API进行批量数据导入，包括NDJSON的结构和提交方法。示例展示了如何将JSON数据保存到文件并使用curl命令提交，确保数据正确导入。

摘要由CSDN通过智能技术生成

一、Bulk API
官网给出的介绍：https://www.elastic.co/guide/en/elasticsearch/reference/6.0/docs-bulk.html

The REST API endpoint is /_bulk, and it expects the following newline delimited JSON (NDJSON) structure:

action_and_meta_data\n
optional_source\n
action_and_meta_data\n
optional_source\n
....
action_and_meta_data\n
optional_source\n

也就是说每一个操作都有2行数据组成，末尾要回车换行。第一行用来说明操作命令和原数据、第二行是自定义的选项.举个例子，同时执行插入2条数据、删除一条数据。

{ "create" : { "_index" : "blog", "_type" : "article", "_id" : "3" }}
{ "title":"title1","posttime":"2016-07-02",

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

后打开撒打发了

关注关注

1
点赞
踩
11

收藏

觉得还不错? 一键收藏
2
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

ETL工具kettle之Java脚本+Elasticsearch bulk insert

admin1973的专栏

07-16

4922

ETL工具kettle之Java脚本+Elasticsearch bulk insert

kettle批量导入json数据

weixin_30587025的博客

12-26

650

kettle新手上路，烦死了，工具好用，批量导入数据也快，就是有很多小细节需要注意。使用kettle进行数据导入时，因为最近在做json数据的入库，以JSON Input为例进行说明；首先是大概流程：　　　　我的是这样，并不是说就必须是这样。　　（1）导json数据，JSON Input 少不了的，具体怎么配置通用路径，第一张图已经展示出来了；　　（2）然后js脚本...

2 条评论您还未登录，请先登录后发表或查看评论

ES查询json

热门推荐

1.02^365=1377.41

06-19

8万+

ElasticSearch JAVA API 一、生成JSON 创建索引的第一步是要把对象转换为JSON字符串.官网给出了四种创建JSON文档的方法： 1.1手写方式生成 String json = "{" + "\"user\":\"kimchy\"," + "\"postDate\":\"2013-01-30\",&qu

bulk插入 es_Elasticsearch 使用bulk批量导入数据

weixin_36059638的博客

01-17

1550

批量导入可以合并多个操作，比如index,delete,update,create等等。也可以帮助从一个索引导入到另一个索引。语法大致如下；action_and_meta_data\noptional_source\naction_and_meta_data\noptional_source\n....action_and_meta_data\noptional_source\n需要注意的是，每一...

java es 数据批量导入_elasticsearch java API------批量添加索引

weixin_28949937的博客

02-26

420

1.public void bulkupdate(){BulkRequestBuilder bulkRequest = client.prepareBulk();try {bulkRequest.add(client.prepareIndex("productindex", "productindex", "2").setSource(XContentFactory.jsonBuilder().s...

ElasticSearch入门（二）批量导入数据（Postman与Kibana）

2401_84048006的博客

04-23

854

对于面试，一定要有良好的心态，这位小伙伴面试美团的时候没有被前面阿里的面试影响到，发挥也很正常，也就能顺利拿下美团的offer。小编还整理了大厂java程序员面试涉及到的绝大部分面试题及答案，希望能帮助到大家，也祝愿大家都能够升职加薪！《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！小编整理的资料能够帮助到大家！也祝愿大家都能够升职加薪！《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！

ES测试数据-手机.rar

08-01

标题中的“ES测试数据-手机.rar”表明这是一个与Elasticsearch（简称ES）相关的测试数据集，主要聚焦在手机参数上。Elasticsearch是一种流行的开源全文搜索引擎，常用于复杂的数据检索、日志分析和实时数据分析。 ...

技术支持利用JSON数据批量操作数据库（插入、更新）

08-06

利用JSON数据批量操作数据库（插入、更新）实现数据传入

导入json数据到Elasticsearch（bulk方法）

铁柱的博客

04-16

8707

一、前言在前面几章，基本把本地的环境给配置好了，那么配置好了之后，要做的第一件事当然就是导入数据进去。我这边准备的是一份json数据，这里通过ES的bulk API给导入进去。二、导入数据 1、批量导入的话使用bulk API,形如： curl -H "Content-Type: application/x-ndjson"...

十二 ES json数据格式

一朵的专栏

06-19

4054

1. 可读性良好的json格式： [{ "action": { }, "data": { } }] 2. bulk api的json格式 {"action": {"meta"}}\n {"data"}\n {"action": {"meta"}}\n {"data"}\n 例子： POST /forum/article/_bulk { "index": { "...

ES使用json文件批量生成数据(可用)

weixin_43918355的博客

06-28

569

json文件数据 {"index":{ "_index": "books", "_id": "1" }} {"id":"1", "title":"Java编程思想", "language":"java", "author":"BruceEckel", "price":70.20, "publish_time":"2007-10-01", "description":"Java学习必读经典，殿堂级著作！赢得了全球程序员的广泛赞誉。"} {"index":{ "_index": "books","_id": "

elasticsearch: 外部json数据文件使用bulk进行批量数据导入

qq_39198749的博客

09-23

352

1. data.json数据文件格式 {"create":{"_index":"qs_test"}} {"userId":"1","cateId":"cateId01"} {"create":{"_index":"qs_test"}} {"userId":"2","cateId":"cateId02"} {"create":{"_index":"qs_test"}} {"userId":"3","cateId":"cateId03"} 注意：文件最后一行一定要有一行换行。否则会报错 2. 批量导入执行

ElasticSearch 实战：bulk api的奇特json格式与底层性能关系

qq_33240556的博客

03-30

438

Elasticsearch 的bulkAPI 采用了独特的 JSON 格式，这种格式设计旨在最大程度地提高批量数据操作的性能。以下是bulk。

elasticsearch _bulk api的奇特json格式与底层性能优化关系

愿风裁尽尘中沙

06-07

855

一、es处理标准格式json串的流程使用良好的json数组格式，允许任意换行，可读性非常好，但是es拿到那种标准格式的json串以后，要按照下述流程去进行处理将json数组解析为JSONArray对象，这个时候，整个数据，就会在内存中出现一份一模一样的拷贝，一份数据是json文本，一份数据是JSONArray对象解析json数组里的每个json，对每个请求中的document进行路由 ...

KingbaseES Json 系列三：Json数据操作函数一

lyu1026的博客

02-23

181

KingbaseES Json 系列三--Json数据操作函数一(JSONB_EACH,JSONB_EACH_TEXT,JSONB_OBJECT_KEYS,JSONB_EXTRACT_PATH,JSONB_EXTRACT_PATH_TEXT,JSON_EACH,JSON_EACH_TEXT,JSON_OBJECT_KEYS,JSON_EXTRACT_PATH,JSON_EXTRACT_PATH_...

windows elasticsearch 文件批量导入数据

11-25

以下是在Windows环境下使用Elasticsearch批量导入数据的步骤： 1. 确保已经安装了Elasticsearch和Java环境，并将它们添加到系统环境变量中。 2. 准备好要导入的数据文件，例如data.json，确保文件格式正确。 3. 在命令行中进入到Elasticsearch的bin目录下，执行以下命令创建索引： ```shell curl -X PUT "localhost:9200/my_index?pretty" -H 'Content-Type: application/json' -d' { "settings": { "number_of_shards": 1, "number_of_replicas": 0 }, "mappings": { "properties": { "title": { "type": "text" }, "author": { "type": "text" }, "content": { "type": "text" } } } } ' ``` 其中，my_index是你要创建的索引名称，title、author、content是你要导入的数据文件中的字段名称。 4. 执行以下命令将数据文件导入到Elasticsearch中： ```shell curl -H "Content-Type: application/x-ndjson" -XPOST "localhost:9200/my_index/_bulk?pretty" --data-binary "@data.json" ``` 其中，my_index是你要导入数据的索引名称，data.json是你要导入的数据文件名称。 5. 导入完成后，可以执行以下命令查询导入的数据： ```shell curl -X GET "localhost:9200/my_index/_search?pretty" ``` 其中，my_index是你要查询的索引名称。