ElasticSearch使用Kibana实现批量操作(一)

  ElasticSearch使用Kibana实现批量操作-Multi Get API

1.批量获取多份文档

2、指定显示的字段

上篇介绍了介绍ElasticSearch使用Kibana实现基本的增删改查操作,本篇主要介绍批量操作

合并多个请求可以避免每个请求单独的网络开销。 如果你需要从Elasticsearch中检索多个文档, 相对于一个一个的检索, 更快的方式是在一个请求中使用multi-get或者 mget API。
mget API参数是一个 docs 数组, 数组的每个节点定义一个文档的 _index 、 _type 、 _id 元数据。 如果你只想检索一个或几个确定的字段, 也可以定义一个 _source 参数:

1.批量获取多份文档

GET /_mget
{
    "docs":[
       {
           "_index": "lib",
           "_type": "user",
           "_id": 1
       },
       {
           "_index": "lib",
           "_type": "user",
           "_id": 2
       },
       {
           "_index": "test",
           "_type": "people",
           "_id": 1
       }
     ]
}

 "_index": "lib"   指定查询的索引名

 "_type": "user"   指定查询的类型名

"_id": 1   指定查询的文档id

#查询结果
{
  "docs": [
    {
      "_index": "lib",
      "_type": "user",
      "_id": "1",
      "_version": 2,
      "found": true,
      "_source": {
        "first_name": "Jane",
        "last_name": "Smith",
        "age": 20,
        "about": "I like to collect rock albums",
        "interests": [
          "music"
        ]
      }
    },
    {
      "_index": "lib",
      "_type": "user",
      "_id": "2",
      "_version": 1,
      "found": true,
      "_source": {
        "first_name": "zhou",
        "last_name": "Lucky",
        "age": 32,
        "about": "I like to collect rock albums",
        "interests": [
          "music"
        ]
      }
    },
    {
      "_index": "test",
      "_type": "people",
      "_id": "1",
      "_version": 1,
      "found": true,
      "_source": {
        "first_name": "zhou",
        "last_name": "Lucly",
        "age": 32,
        "about": "I like to collect rock albums",
        "interests": [
          "music"
        ]
      }
    }
  ]
}

2、指定显示的字段

GET /_mget
{
    "docs":[
       {
           "_index": "lib",
           "_type": "user",
           "_id": 1,
           "_source":"interests" #仅仅指定一列
       },
       {
           "_index": "lib",
           "_type": "user",
           "_id": 2,
           "_source":["interests","age"] #指定多列
       }
     ]
}
#查询结果
{
  "docs": [
    {
      "_index": "lib",
      "_type": "user",
      "_id": "1",
      "_version": 2,
      "found": true,
      "_source": {
        "interests": [
          "music"
        ]
      }
    },
    {
      "_index": "lib",
      "_type": "user",
      "_id": "2",
      "_version": 1,
      "found": true,
      "_source": {
        "interests": [
          "music"
        ],
        "age": 32
      }
    }
  ]
}

当查询的索引和类型都相同时

GET /lib/user/_mget
{
    "docs":[
       {
           "_id": 1
       },
       {
           "_id": 2,
           "_source":["interests","age"]
       }
     ]
}
#查询结果
{
  "docs": [
    {
      "_index": "lib",
      "_type": "user",
      "_id": "1",
      "_version": 2,
      "found": true,
      "_source": {
        "first_name": "Jane",
        "last_name": "Smith",
        "age": 20,
        "about": "I like to collect rock albums",
        "interests": [
          "music"
        ]
      }
    },
    {
      "_index": "lib",
      "_type": "user",
      "_id": "2",
      "_version": 1,
      "found": true,
      "_source": {
        "interests": [
          "music"
        ],
        "age": 32
      }
    }
  ]
}

如果只查询id,可以更简单

GET /lib/user/_mget
{
    "ids": [1,2,3]
      
}

执行结果:

{
  "docs": [
    {
      "_index": "lib",
      "_type": "user",
      "_id": "1",
      "_version": 2,
      "found": true,
      "_source": {
        "first_name": "Jane",
        "last_name": "Smith",
        "age": 20,
        "about": "I like to collect rock albums",
        "interests": [
          "music"
        ]
      }
    },
    {
      "_index": "lib",
      "_type": "user",
      "_id": "2",
      "_version": 1,
      "found": true,
      "_source": {
        "first_name": "zhou",
        "last_name": "Lucky",
        "age": 32,
        "about": "I like to collect rock albums",
        "interests": [
          "music"
        ]
      }
    },
    {
      "_index": "lib",
      "_type": "user",
      "_id": "3",
      "_version": 1,
      "found": true,
      "_source": {
        "first_name": "zhou",
        "last_name": "Lucy",
        "age": 32,
        "about": "I like to collect rock albums",
        "interests": [
          "music"
        ]
      }
    }
  ]
}

注意:
即使有一个文档没有被找到, HTTP请求状态码也是 200 。 事实上, 就算所有文档都找不到, 请求也还是返回 200 , 原因是 mget 请求本身成功了。 如果想知道每个文档是否都成功了, 你需要检查 found 标志。

对人工智能感兴趣的同学,可以点击以下链接:

现在人工智能非常火爆,很多朋友都想学,但是一般的教程都是为博硕生准备的,太难看懂了。最近发现了一个非常适合小白入门的教程,不仅通俗易懂而且还很风趣幽默。所以忍不住分享一下给大家。点这里可以跳转到教程。

https://www.cbedai.net/u014646662

Elasticsearch (ES) 中,Kibana 主要是用于数据分析、可视化和查询,而不是直接用于数据写入。然而,如果你需要批量将数据写入 ES 索引,通常会通过其他工具如 Logstash 或者程序代码来完成这个任务。 以下是使用 Logstash 进行批量数据导入的一个常见示例: 1. **安装Logstash**:首先,你需要在你的系统上安装 Logstash,它有一个插件 `elasticsearch` 可以方便地将数据发送到 ES。 2. **配置文件**:创建一个 Logstash 配置文件(通常是 .conf 文件),定义输入源(例如,来自文件、stdin、syslog 等)、过滤器(如有必要对数据进行处理)以及输出到 Elasticsearch 的设置。例如: ```yaml input { file { path => "path/to/your/data/*.json" # 指定你的数据源 } } filter { json { source => "message" } } output { elasticsearch { hosts => ["localhost:9200"] # ES 的连接地址 index => "%{[@metadata][beat]}-%{+YYYY.MM.dd}" # 格式化索引名 document_type => "%{[type]}" # 如果数据有 type 字段 } } ``` 3. **运行Logstash**:启动 Logstash 并读取配置文件,它会自动将数据解析并批量发送到指定的 ES 索引。 4. **批量写入**:由于 Logstash 本身支持批量处理,所以它会在内部对数据进行分批发送,以提高性能。 如果你想直接使用编程语言,可以参考 Elasticsearch 官方文档提供的客户端库,如 Java、Python 等,编写脚本或服务来批量插入数据。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值