（2/2）基于容器化，快速使用ElasticSearch

最新推荐文章于 2024-02-22 17:42:40 发布
最新推荐文章于 2024-02-22 17:42:40 发布
阅读量182 收藏
点赞数
分类专栏： Docker 文章标签： elasticsearch

 

目录

四、常见的操作指南

1、如何kibana调用es接口命令

2、添加单个文档

3、添加多个文档

4、查看当前索引

5、搜索文档内容

6、搜索文档内容-特定字段

7、搜索文档内容-查询范围

8、搜索文档内容-查询范围

9、搜索文档内容-提取内容

四、常见的操作指南

下面是一些日常使用疑问

1、如何kibana调用es接口命令

登录kibana系统后，在菜单栏中Management->Dev Tools， 进入后我们在左侧框中输入(先清空),输入下面的内容

GET /

右侧栏中会出现一段json,可以看到我们的es版本等信息​​​​​​​


{
  "name": "dae8747df6f0",
  "cluster_name": "docker-cluster",
  "cluster_uuid": "toprRlPKRv22cMX8gh96LQ",
  "version": {
    "number": "8.4.3",
    "build_flavor": "default",
    "build_type": "docker",
   "build_hash": "42f05b9372a9a4a470db3b52817899b99a76ee73",
    "build_date": "2022-10-04T07:17:24.662462378Z",
    "build_snapshot": false,
    "lucene_version": "9.3.0",
    "minimum_wire_compatibility_version": "7.17.0",
    "minimum_index_compatibility_version": "7.0.0"
  },
  "tagline": "You Know, for Search"
}

2、添加单个文档

提交以下索引请求以将单个日志条目添加到 logs-myapp 数据流。

由于 logs-myapp不存在，请求会使用内置的 logs-*-* 索引模板自动创建它。

这里模拟的是一个请求的文件日志记录​​​​​​​


POST logs-myapp/_doc
{
  "@timestamp": "2099-05-06T16:21:15.000Z",
  "event": {
    "original": "192.0.2.42 - - [06/May/2099:16:21:15 +0000] \"GET /images/bg.jpg HTTP/1.0\" 200 24736"
  }
}

返回数据

响应包括 Elasticsearch 为文档生成的元数据：

  • 包含文档的支持 _index。Elasticsearch 会自动生成支持索引的名称。

  • 索引中文档的唯一 _id。


{
  "_index": "logs-myapp",
  "_id": "snwQN4QBFZ31xH8Hlg-J",
  "_version": 1,
  "result": "created",
  "_shards": {
    "total": 2,
    "successful": 1,
    "failed": 0
  },
  "_seq_no": 0,
  "_primary_term": 1
}

3、添加多个文档

使用 _bulk 端点在一个请求中添加多个文档。批量数据必须是换行符分隔的 JSON (NDJSON)。每行必须以换行符 (\n) 结尾，包括最后一行。​​​​​​​


PUT logs-myapp/_bulk
{ "create": { } }
{ "@timestamp": "2099-05-07T16:24:32.000Z", "event": { "original": "192.0.2.242 - - [07/May/2020:16:24:32 -0500] \"GET /images/hm_nbg.jpg HTTP/1.0\" 304 0" } }
{ "create": { } }
{ "@timestamp": "2099-05-08T16:25:42.000Z", "event": { "original": "192.0.2.255 - - [08/May/2099:16:25:42 +0000] \"GET /favicon.ico HTTP/1.0\" 200 3638" } }

响应数据​​​​​​​

{
  "took": 28,
  "errors": false,
  "items": [
    {
      "create": {
        "_index": "logs-myapp",
        "_id": "s3wVN4QBFZ31xH8HcQ8j",
        "_version": 1,
        "result": "created",
        "_shards": {
          "total": 2,
          "successful": 1,
          "failed": 0
        },
        "_seq_no": 1,
        "_primary_term": 1,
        "status": 201
      }
    },
    {
      "create": {
        "_index": "logs-myapp",
        "_id": "tHwVN4QBFZ31xH8HcQ8j",
        "_version": 1,
        "result": "created",
        "_shards": {
          "total": 2,
          "successful": 1,
          "failed": 0
        },
        "_seq_no": 2,
        "_primary_term": 1,
        "status": 201
      }
    }
  ]
}

4、查看当前索引

GET _cat/indices

5、搜索文档内容

查询条件为所有条目，

按字段@timestamp降序排列​​​​​​​


GET logs-myapp/_search
{
  "query": {
    "match_all": {}
  },
  "sort": [
    {
      "@timestamp": {
        "order": "desc"
      }
    }
  ]
}

返回结果​​​​​​​


{
  "took": 0,
  "timed_out": false,
  "_shards": {
    "total": 1,
    "successful": 1,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": {
      "value": 3,
      "relation": "eq"
    },
    "max_score": null,
    "hits": [
      {
        "_index": "logs-myapp",
        "_id": "tHwVN4QBFZ31xH8HcQ8j",
        "_score": null,
        "_source": {
          "@timestamp": "2099-05-08T16:25:42.000Z",
          "event": {
            "original": """192.0.2.255 - - [08/May/2099:16:25:42 +0000] "GET /favicon.ico HTTP/1.0" 200 3638"""
          }
        },
        "sort": [
          4081940742000
        ]
      },
      {
        "_index": "logs-myapp",
        "_id": "s3wVN4QBFZ31xH8HcQ8j",
        "_score": null,
        "_source": {
          "@timestamp": "2099-05-07T16:24:32.000Z",
          "event": {
            "original": """192.0.2.242 - - [07/May/2020:16:24:32 -0500] "GET /images/hm_nbg.jpg HTTP/1.0" 304 0"""
          }
        },
        "sort": [
          4081854272000
        ]
      },
      {
        "_index": "logs-myapp",
        "_id": "snwQN4QBFZ31xH8Hlg-J",
        "_score": null,
        "_source": {
          "@timestamp": "2099-05-06T16:21:15.000Z",
          "event": {
            "original": """192.0.2.42 - - [06/May/2099:16:21:15 +0000] "GET /images/bg.jpg HTTP/1.0" 200 24736"""
          }
        },
        "sort": [
          4081767675000
        ]
      }
    ]
  }
}

6、搜索文档内容-特定字段

对于大文档,解析整个_source很麻烦，

我们需要将_source参数置为false。

然后从fields参数中来检索想要的字段​​​​​​​


GET logs-myapp/_search
{
  "query": {
    "match_all": {}
  },
  "fields": [
    "@timestamp"
  ],
  "_source": false,
  "sort": [
    {
      "@timestamp": {
        "order": "desc"
      }
    }
  ]
}

响应数据​​​​​​​


{
  "took": 0,
  "timed_out": false,
  "_shards": {
    "total": 1,
    "successful": 1,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": {
      "value": 3,
      "relation": "eq"
    },
    "max_score": null,
    "hits": [
      {
        "_index": "logs-myapp",
        "_id": "tHwVN4QBFZ31xH8HcQ8j",
        "_score": null,
        "fields": {
          "@timestamp": [
            "2099-05-08T16:25:42.000Z"
          ]
        },
        "sort": [
          4081940742000
        ]
      },
      {
        "_index": "logs-myapp",
        "_id": "s3wVN4QBFZ31xH8HcQ8j",
        "_score": null,
        "fields": {
          "@timestamp": [
            "2099-05-07T16:24:32.000Z"
          ]
        },
        "sort": [
          4081854272000
        ]
      },
      {
        "_index": "logs-myapp",
        "_id": "snwQN4QBFZ31xH8Hlg-J",
        "_score": null,
        "fields": {
          "@timestamp": [
            "2099-05-06T16:21:15.000Z"
          ]
        },
        "sort": [
          4081767675000
        ]
      }
    ]
  }
}

7、搜索文档内容-查询范围

在特定的时间或者IP范围内进行搜索​​​​​​​


GET logs-myapp/_search
{
  "query": {
    "range": {
      "@timestamp": {
        "gte": "2099-05-07",
        "lte": "2099-05-08"
      }
    }
  },
  "fields": [
    "@timestamp"
  ],
  "_source": false,
  "sort": [
    {
      "@timestamp": {
        "order": "desc"
      }
    }
  ]
}

响应数据​​​​​​​


{
  "took": 0,
  "timed_out": false,
  "_shards": {
    "total": 1,
    "successful": 1,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": {
      "value": 2,
      "relation": "eq"
    },
    "max_score": null,
    "hits": [
      {
        "_index": "logs-myapp",
        "_id": "tHwVN4QBFZ31xH8HcQ8j",
        "_score": null,
        "fields": {
          "@timestamp": [
            "2099-05-08T16:25:42.000Z"
          ]
        },
        "sort": [
          4081940742000
        ]
      },
      {
        "_index": "logs-myapp",
        "_id": "s3wVN4QBFZ31xH8HcQ8j",
        "_score": null,
        "fields": {
          "@timestamp": [
            "2099-05-07T16:24:32.000Z"
          ]
        },
        "sort": [
          4081854272000
        ]
      }
    ]
  }
}

8、搜索文档内容-查询范围

对过去一天进行查询 ,表达式​​​​​​​

GET logs-myapp/_search
{
  "query": {
    "range": {
      "@timestamp": {
        "gte": "now-1d/d",
        "lte": "now/d"
      }
    }
  },
  "fields": [
    "@timestamp"
  ],
  "_source": false,
  "sort": [
    {
      "@timestamp": {
        "order": "desc"
      }
    }
  ]
}

响应数据​​​​​​​


{
  "took": 0,
  "timed_out": false,
  "_shards": {
    "total": 1,
    "successful": 1,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": {
      "value": 0,
      "relation": "eq"
    },
    "max_score": null,
    "hits": []
  }
}

9、搜索文档内容-提取内容​​​​​​​

POST logs-test/_doc/1
{
  "raw_message":"199.72.81.55 - - [01/Jul/1995:00:00:01 -0400] GET /history/apollo/ HTTP/1.0 200 6245",
  "address":"1.2.3.4"
}

结果​​​​​​​

{
  "_index": "logs-test",
  "_id": "1",
  "_version": 1,
  "result": "created",
  "_shards": {
    "total": 2,
    "successful": 1,
    "failed": 0
  },
  "_seq_no": 0,
  "_primary_term": 1
}

寒冰屋
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Elasticsearch插入文档
万物皆可学
07-19 414
插入之前需要了解一下标识符的概念。
Elasticsearch(五）--ES文档的操作（上）---写入文档
学习不止境的博客
01-28 3463
使用ES构建搜索引擎时需要经常对文档进行操作，除了简单的单条文档操作，有时还需要进行批量操作。我们这章主要学习ES文档的增删改的操作，由于涉及到的代码量会比较多，所以分为3篇文章分别说明文档的这个三个操作。那么我们对文档操作的学习除了在kibana客户端之外，还会涉及到java的highLevelClient相应的操作代码。那么话不多说，我们直接开始下面的学习、
ElasticSearch创建文档以及索引文档的详细流程
xhl1123456789的博客
04-29 2617
ElasticSearch创建文档、更新文档、搜索文档的流程介绍
1.5 Elasticsearch文档的基本操作
Xx13624558575的博客
08-31 289
Elasticsearch文档的基本操作
elasticsearch7.1.1入门之数据插入、修改、删除
热门推荐
(づ￣ 3￣)づxl
06-06 1万+
插入有两种方式，一种是指定id，一种是es自动分配id 先看第一种 这里我们先创建一个名为man的索引,由于不建议使用多类型，所以创建只有一个类型的索引，默认类型名为_doc 然后用第一种方式添加即指定id添加,注意这里的默认类型为_doc，所以添加方式如下： 这里指定id为no1，可以加上op_type=create，会在重复id时报错导致插入失败，否则会更新该id的属性值 ...
基于Mesos Docker的Elasticsearch容器化私有云.pdf
10-14
【基于Mesos Docker的Elasticsearch容器化私有云】是一种高效的解决方案，旨在解决传统Elasticsearch部署和管理中遇到的问题。在传统的Elasticsearch环境中，通常采用KVM虚拟机或物理机作为节点，这导致了申请过程...
Elasticsearch容器化私有云实践.docx
10-11
通过这一Elasticsearch容器化私有云实践，去哪儿网的OPS团队成功地解决了传统部署方式面临的挑战，实现了高效、灵活的ES集群管理。这种模式对于大型企业或高并发环境下的数据存储和检索具有很高的借鉴价值，可以作为...
360容器平台基于Prometheus的监控实践
01-27
利用ELK栈（Elasticsearch、Logstash、Kibana）进行日志收集和分析，其中的Log controller组件负责感知Kubernetes资源的变化，Logstash则定时从配置中心QConf获取配置，收集日志到Kafka，最终通过HULK私有云平台的ES...
基于容器的微服务架构.pptx
最新发布
05-26
- **日志管理**：日志管理工具（如Elasticsearch、Splunk）集中收集并分析容器日志，便于问题调试、审计合规等操作。 - **持续集成和持续交付（CI/CD）**：自动化工具（如Jenkins、GitHub Actions）集成版本控制、...
微容器在针对生产环境的使用执行完微小化操作之后，对运维人员来说诊断和修复问题会变得很有挑战性，这主要是因为缺少OS工具
03-01
微容器技术，作为一种轻量级的容器化方案，近年来在IT行业中受到了广泛关注，尤其是在服务器应用领域。微容器的出现旨在实现应用的极度精细化部署，它将应用程序及其依赖环境打包成极小的镜像，以便快速启动和隔离。...
Elasticsearch——文档操作
weixin_53535434的博客
04-08 1183
创建文档：POST /索引库名/_doc/文档id { json文档 }查询文档：GET /索引库名/_doc/文档id删除文档：DELETE /索引库名/_doc/文档id修改文档：全量修改：PUT /索引库名/_doc/文档id { json文档 }增量修改：POST /索引库名/_update/文档id { "doc": {字段}}
13、全文检索 -- Elasticsearch -- 管理 Elasticsearch 之在索引库中 添加、查看 和 删除 文档（通过 命令 和 postman 两种方式操作）
Java 领域技术分享
02-22 1244
管理 Elasticsearch 之在索引库中 添加、查看 和 删除 文档（通过 命令 和 postman 两种方式操作）
ElasticSearch快速入门实战
Zhuxiaoyu_91的博客
08-06 1625
全文检索是一种通过对文本内容进行全面索引和搜索的技术。
Elasticsearch文档操作
qq_39280718的博客
09-24 687
文档可以类比为关系型数据库中的表数据
81 elasticsearch文档操作
THE ORDER
10-13 72
增量修改：POST /索引库名/_update/文档id { “doc”: {字段}}创建文档：POST /索引库名/_doc/文档id { json文档 }全量修改：PUT /索引库名/_doc/文档id { json文档 }删除文档：DELETE /索引库名/_doc/文档id。查询文档：GET /索引库名/_doc/文档id。
Elasticsearch从入门到部署 文档操作 RestAPI
我亦无他，唯手熟尔
12-12 178
有了索引库，接下来就可以向索引库中添加数据了。 Elasticsearch中的数据其实就是JSON风格的文档。操作文档自然保护增、删、改、查等几种常见操作，我们分别来学习。 在elasticsearch提供的API中，与elasticsearch一切交互都封装在一个名为RestHighLevelClient的类中，必须先完成这个对象的初始化，建立与elasticsearch的连接。
ElasticSearch 文档的添加、获取、更新、删除_05
Gblfy_Blog
12-07 1386
文章目录新建文档获取文档批量获取文档更新查询更新删除文档批量操作 新建文档 首先新建一个索引。 然后向索引中添加一个文档： PUT blog/_doc/1 { "title":"6. ElasticSearch 文档基本操作", "date":"2021-12-07", "content":"首先新建一个索引。" } 1 表示新建文档的 id。 添加成功后，响应的 json 如下： { "_index" : "blog", "_type" : "_doc", "_id" : "1"
Elasticsearch 批量插入文档
目标检测专栏持续更新中，改进YOLO系列通用，适用v5、v7、v8、所有博客均是团队原创博客，所有文章禁止转载，违者必究。
08-16 1333
本文通过示例介绍了Elasticsearch中如何批量插入文档。
Elasticsearch基本操作之文档操作
wh柒八九的博客
01-08 1415
本文来说下Elasticsearch基本操作之文档操作 文章目录概述 概述
ElasticSearch入门：基于Lucene的实时搜索与数据分析工具
ElasticSearch是一个强大的、基于Java开发的开源全文搜索引擎，它基于Lucene并提供了RESTful的Web接口，适合在云计算环境中使用。由于其分布式特性，ElasticSearch能够处理大规模数据的实时搜索，同时具备高可用性和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值