(三)Elasticsearch快速开始

最新推荐文章于 2024-08-14 13:29:34 发布
最新推荐文章于 2024-08-14 13:29:34 发布
阅读量210 收藏
点赞数
文章标签： elasticsearch docker
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ntzzzsj/article/details/120293701
版权

Elasticsearch快速开始

快速开始

本指南帮助初学者学习如何:
- 在测试环境中安装并运行Elasticsearch
- 向Elasticsearch添加数据
- 搜索和排序数据
- 在搜索期间从非结构化内容中提取字段

运行Elasticsearch

设置Elasticsearch最简单的方法是在Elastic Cloud上创建一个带有Elasticsearch服务的托管部署。如果您喜欢管理自己的测试环境，可以使用Docker安装和运行Elasticsearch。

1、在Elastic Cloud上使用

1. [获得免费试用](https://www.elastic.co/cn/cloud/elasticsearch-service/signup?baymax=docs-body&elektra=docs)。
2. 登录Elastic Cloud
3. 点击Create deployment.
4. 选择一个解决方案并为您的部署提供一个名称。
5. 点击Create deployment并且下载用户elastic的密码

2、自己测试环境docker安装

1). 安装并运行elasticsearch
	1. 安装并运行[Docker Desktop](https://www.docker.com/products/docker-desktop)
	2. 运行
		docker network create elastic
		docker pull docker.elastic.co/elasticsearch/elasticsearch:7.14.1
		docker run --name es01-test --net elastic -p 9200:9200 -p 9300:9300 -e 				"discovery.type=single-node" docker.elastic.co/elasticsearch/elasticsearch:7.14.1
2).安装并运行kibana
	要使用直观的UI分析、可视化和管理Elasticsearch数据，请安装Kibana
	1. 在新的终端会话中，运行:
	docker pull docker.elastic.co/kibana/kibana:7.14.1
	docker run --name kib01-test --net elastic -p 5601:5601 -e "ELASTICSEARCH_HOSTS=http://es01-test:9200" docker.elastic.co/kibana/kibana:7.14.1
	2.访问kibana,http://localhost:5601

请求Elasticsearch

您可以使用REST api向Elasticsearch发送数据和其他请求。这允许您使用任何发送HTTP请求的客户端(如curl)与Elasticsearch进行交互。你也可以使用Kibana的控制台向Elasticsearch发送请求。

1、在Elastic Cloud上使用

1)、使用curl
 1. 要使用curl或其他客户机与Elasticsearch通信，您需要您的集群端点。转到Elasticsearch页面并单击Copy endpoint。
 2. 要提交一个示例API请求，请在新的终端会话中运行以下curl命令。使用elastic用户的密码替换<password>。用您的端点替换<elasticsearch_endpoint>。
 curl -u elastic:<password> <elasticsearch_endpoint>/
2)、使用kibana
1. 进入Kibana页面，点击Launch。
2. 打开Kibana的主菜单，进入Dev Tools >控制台。	![在这里插入图片描述](https://img-blog.csdnimg.cn/5990b19aecd14a44ac5790245f8fcada.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA6YCG5aSp5LmL5a2Q,size_20,color_FFFFFF,t_70,g_se,x_16)
3. 在控制台中运行以下示例API请求:
GET /
curl -X GET "localhost:9200/?pretty"

2、自己docker测试环境

1)、使用curl
要提交一个示例API请求，请在新的终端会话中运行以下curl命令。

curl -X GET http://localhost:9200/

2)、使用kibana
  1. 打开Kibana的主菜单，进入Dev Tools >控制台。
    在这里插入图片描述
  2. 在控制台中运行以下示例API请求:
    GET /

添加数据

将数据作为JSON对象添加到Elasticsearch中，称为文档。Elasticsearch将这些文档存储在可搜索的索引中。

对于时间序列数据，如日志和指标，您通常将文档添加到由多个自动生成的支持索引组成的数据流中。

数据流需要一个与其名称匹配的索引模板。Elasticsearch使用这个模板来配置流的备份索引。发送到数据流的文档必须具有@timestamp字段。

添加单个文档

提交以下索引请求，将单个日志条目添加到logs-my_app-default数据流中。由于logs-my_app-default不存在，请求使用内置的logs-*-*索引模板自动创建它。
curl -X POST “localhost:9200/logs-my_app-default/_doc?pretty” -H ‘Content-Type: application/json’ -d’
{
“@timestamp”: “2099-05-06T16:21:15.000Z”,
“event”: {
“original”: “192.0.2.42 - - [06/May/2099:16:21:15 +0000] “GET /images/bg.jpg HTTP/1.0” 200 24736”
}
}
’
或在kibana开发工具中
POST logs-my_app-default/_doc
{
“@timestamp”: “2099-05-06T16:21:15.000Z”,
“event”: {
“original”: “192.0.2.42 - - [06/May/2099:16:21:15 +0000] “GET /images/bg.jpg HTTP/1.0” 200 24736”
}
}
响应包括Elasticsearch为文档生成的元数据:
- 包含文档的后台_index。Elasticsearch会自动生成备份索引的名称。
- 索引中文档的唯一_id。
{
“_index”: “.ds-logs-my_app-default-2099-05-06-000001”,
“_type”: “_doc”,
“_id”: “gl5MJXMBMk1dGnErnBW8”,
“_version”: 1,
“result”: “created”,
“_shards”: {
“total”: 2,
“successful”: 1,
“failed”: 0
},
“_seq_no”: 0,
“_primary_term”: 1
}

添加多个文档

使用_bulk端点在一个请求中添加多个文档。批量数据必须是换行分隔的JSON (NDJSON)。每行必须以换行符(\n)结束，包括最后一行。
PUT logs-my_app-default/_bulk
{ “create”: { } }
{ “@timestamp”: “2099-05-07T16:24:32.000Z”, “event”: { “original”: “192.0.2.242 - - [07/May/2020:16:24:32 -0500] “GET /images/hm_nbg.jpg HTTP/1.0” 304 0” } }
{ “create”: { } }
{ “@timestamp”: “2099-05-08T16:25:42.000Z”, “event”: { “original”: “192.0.2.255 - - [08/May/2099:16:25:42 +0000] “GET /favicon.ico HTTP/1.0” 200 3638” } }

curl方式如下：
curl -X PUT “localhost:9200/logs-my_app-default/_bulk?pretty” -H ‘Content-Type: application/json’ -d’
{ “create”: { } }
{ “@timestamp”: “2099-05-07T16:24:32.000Z”, “event”: { “original”: “192.0.2.242 - - [07/May/2020:16:24:32 -0500] “GET /images/hm_nbg.jpg HTTP/1.0” 304 0” } }
{ “create”: { } }
{ “@timestamp”: “2099-05-08T16:25:42.000Z”, “event”: { “original”: “192.0.2.255 - - [08/May/2099:16:25:42 +0000] “GET /favicon.ico HTTP/1.0” 200 3638” } }
’

检索数据

索引文档可以近乎实时地进行搜索。下面的搜索匹配logs-my_app-default中的所有日志条目，并按@timestamp按降序对它们进行排序。
GET logs-my_app-default/_search
{
“query”: {
“match_all”: { }
},
“sort”: [
{
“@timestamp”: “desc”
}
]
}
curl方式如下：
curl -X GET “localhost:9200/logs-my_app-default/_search?pretty” -H ‘Content-Type: application/json’ -d’
{
“query”: {
“match_all”: { }
},
“sort”: [
{
“@timestamp”: “desc”
}
]
}
’
默认情况下，响应的hits部分最多包含匹配搜索的前10个文档。每个命中的_source包含索引期间提交的原始JSON对象。
{
“took”: 2,
“timed_out”: false,
“_shards”: {
“total”: 1,
“successful”: 1,
“skipped”: 0,
“failed”: 0
},
“hits”: {
“total”: {
“value”: 3,
“relation”: “eq”
},
“max_score”: null,
“hits”: [
{
“_index”: “.ds-logs-my_app-default-2099-05-06-000001”,
“_type”: “_doc”,
“_id”: “PdjWongB9KPnaVm2IyaL”,
“_score”: null,
“_source”: {
“@timestamp”: “2099-05-08T16:25:42.000Z”,
“event”: {
“original”: “192.0.2.255 - - [08/May/2099:16:25:42 +0000] “GET /favicon.ico HTTP/1.0” 200 3638”
}
},
“sort”: [
4081940742000
]
},
…
]
}
}

获取特定字段

对于大型文档来说，解析整个_source是很笨拙的。要从响应中排除它，请将_source参数设置为false。相反，使用fields参数来检索所需的字段。
GET logs-my_app-default/_search
{
“query”: {
“match_all”: { }
},
“fields”: [
“@timestamp”
],
“_source”: false,
“sort”: [
{
“@timestamp”: “desc”
}
]
}
响应以平面数组的形式包含每个命中的字段值。
{
…
“hits”: {
…
“hits”: [
{
“_index”: “.ds-logs-my_app-default-2099-05-06-000001”,
“_type”: “_doc”,
“_id”: “PdjWongB9KPnaVm2IyaL”,
“_score”: null,
“fields”: {
“@timestamp”: [
“2099-05-08T16:25:42.000Z”
]
},
“sort”: [
4081940742000
]
},
…
]
}
}

搜索日期范围

要在特定的时间或IP范围内进行搜索，请使用range查询。
GET logs-my_app-default/_search
{
“query”: {
“range”: {
“@timestamp”: {
“gte”: “2099-05-05”,
“lt”: “2099-05-08”
}
}
},
“fields”: [
“@timestamp”
],
“_source”: false,
“sort”: [
{
“@timestamp”: “desc”
}
]
}
您可以使用日期数学定义相对时间范围。下面的查询搜索过去一天的数据，它不会匹配logs-my_app-default中的任何日志条目。
GET logs-my_app-default/_search
{
“query”: {
“range”: {
“@timestamp”: {
“gte”: “now-1d/d”,
“lt”: “now/d”
}
}
},
“fields”: [
“@timestamp”
],
“_source”: false,
“sort”: [
{
“@timestamp”: “desc”
}
]
}

从非结构化内容中提取字段

您可以在搜索期间从非结构化内容(如日志消息)中提取运行时字段。
使用以下搜索将source.IP从event.original提取出来。要在响应中包含它，请添source.IP到fields参数。
GET logs-my_app-default/_search
{
“runtime_mappings”: {
“source.ip”: {
“type”: “ip”,
“script”: “”"
String sourceip=grok(’%{IPORHOST:sourceip} .*’).extract(doc[ “event.original” ].value)?.sourceip;
if (sourceip != null) emit(sourceip);
“”"
}
},
“query”: {
“range”: {
“@timestamp”: {
“gte”: “2099-05-05”,
“lt”: “2099-05-08”
}
}
},
“fields”: [
“@timestamp”,
“source.ip”
],
“_source”: false,
“sort”: [
{
“@timestamp”: “desc”
}
]
}

组合查询

可以使用bool查询组合多个查询。下面的搜索结合了两个范围查询:一个针对@timestamp，另一个针对source.ip运行时字段。
GET logs-my_app-default/_search
{
“runtime_mappings”: {
“source.ip”: {
“type”: “ip”,
“script”: “”"
String sourceip=grok(’%{IPORHOST:sourceip} .*’).extract(doc[ “event.original” ].value)?.sourceip;
if (sourceip != null) emit(sourceip);
“”"
}
},
“query”: {
“bool”: {
“filter”: [
{
“range”: {
“@timestamp”: {
“gte”: “2099-05-05”,
“lt”: “2099-05-08”
}
}
},
{
“range”: {
“source.ip”: {
“gte”: “192.0.2.0”,
“lte”: “192.0.2.240”
}
}
}
]
}
},
“fields”: [
“@timestamp”,
“source.ip”
],
“_source”: false,
“sort”: [
{
“@timestamp”: “desc”
}
]
}

汇总数据

使用聚合将数据汇总为指标、统计数据或其他分析数据。
下面的搜索使用聚合来使用http.response.body.bytes运行时字段计算average_response_size。聚合仅在与查询匹配的文档上运行。
GET logs-my_app-default/_search
{
“runtime_mappings”: {
“http.response.body.bytes”: {
“type”: “long”,
“script”: “”"
String bytes=grok(’%{COMMONAPACHELOG}’).extract(doc[ “event.original” ].value)?.bytes;
if (bytes != null) emit(Integer.parseInt(bytes));
“”"
}
},
“aggs”: {
“average_response_size”:{
“avg”: {
“field”: “http.response.body.bytes”
}
}
},
“query”: {
“bool”: {
“filter”: [
{
“range”: {
“@timestamp”: {
“gte”: “2099-05-05”,
“lt”: “2099-05-08”
}
}
}
]
}
},
“fields”: [
“@timestamp”,
“http.response.body.bytes”
],
“_source”: false,
“sort”: [
{
“@timestamp”: “desc”
}
]
}
响应的聚合对象包含聚合结果。
{
…
“aggregations” : {
“average_response_size” : {
“value” : 12368.0
}
}
}

探索更多搜索选项

要继续探索，索引更多的数据到您的数据流，并查看通用搜索选项。

清理

当您完成时，删除您的测试数据流及其备份索引。
DELETE _data_stream/logs-my_app-default
您还可以删除您的测试部署

1、在Elastic Cloud

从部署概述页面中单击Delete deployment并按照提示操作。

2、在docker容器测试环境

要停止Elasticsearch和Kibana Docker容器，请运行:
docker stop es01-test
docker stop kib01-test
要移除容器及其网络，请执行:
docker network rm elastic
docker rm es01-test
docker rm kib01-test

下一步是什么？

通过设置数据层和ILM，最大限度地利用时间序列数据。有关时间序列数据，请参见。使用Elasticsearch
使用Fleet和Elastic Agent直接从数据源收集日志和指标，并将它们发送到Elasticsearch。参见fleet快速入门指南
使用Kibana来探索、可视化和管理您的Elasticsearch数据。请参阅Kibana快速入门指南。

逆天至尊
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
ElasticSearch快速开始（二）
m0_62289592的博客
11-18 53
ES 中的 mapping 有点类似与关系数据库中 表结构 的概念，在 MySQL 中，表结构里包含了字段名称，字段的类型还有索引信息等。例如：通常所说的 正排索引 和 倒排索引（也叫正向索引和反向索引）。索引在 ES 中所表述的含义和 MySQL 中的索引完全不同，在 MySQL 中索引指的是加速数据查询的一种特殊的数据结构，如 normal index。，而POST是可以针对整个资源集合进行操作的，如果不写id就由ES生成一个唯一id 进行创建新文档，如果填了id那就针对这个id的文档进行创建/更新。
ElasticSearch（三）
baidu_38900596的博客
01-12 226
5.Spring Data Elasticsearch Elasticsearch提供的Java客户端有一些不太方便的地方： 很多地方需要拼接Json字符串，在java中拼接字符串有多恐怖你应该懂的 需要自己把对象序列化为json存储 查询到结果也需要自己反序列化为对象 因此，我们这里就不讲解原生的Elasticsearch客户端API了。 而是学习Spring提供的套件：Spring Data Elasticsearch。 5.1.简介 Spring Data Elasticsearch是Spring
Logstash：如何运用 Elastic Stack 结合 RSS feeds 告知可能性
Elastic 中国社区官方博客
09-29 942
作为 Elasticians，我们有机会观察各种 Elastic 用例。作为前 SOC 分析师，我们发现自己被安全用例所吸引。我们一直在寻找利用为 Elastic 和网络安全社区增加价值的方法。我们一直在研究——筛选新闻文章、白皮书、数据库等。我们意识到我们花了很多时间访问相同的站点并且需要整合提（呃！）。下面，我们将详细介绍我们如何使用 RSS 提要、Logstash、Elasticsearch 和 Kibana 来摄取、整合、聚合、可视化和搜索感兴趣的网络安全内容，以及如何做到这一点。】
Elasticsearch：如何分析和优化 Elastic 部署的存储空间
Elastic 中国社区官方博客
03-23 4494
你是否曾经查看过你的索引并想了解更多关于在你的 Elastic 部署中是什么造成你存储消耗的因素？ 也许你已经使用默认设置摄取了自定义数据，并且想知道你的数据建模工作在哪里可以产生最大的影响？ 在这篇博文中，我们将了解如何使用 Elastic 最近推出的磁盘使用 API （disk uage API）来回答此类问题。 在 Elastic，当我们与客户合作时，最常见的改进领域之一是索引映射配置。 缺少映射或使用错误的类型可能会增加 Elastic 部署中的存储使用量。 这篇文章将帮助你了解哪些字段对驱动你的
jquery originalEvent与event关系
wq1856225的博客
10-08 3926
在jquery中，最终传入事件处理程序的 event 其实已经被 jQuery 做过标准化处理，其原有的事件对象则被保存于 event 对象的 originalEvent 属性之中，每个 event 都是 jQuery.Event 的实例 所以event.originalEvent.wheelDelta就是指向原始的事件对象 其原型链中保存有六个方法，jQuery.Event.prototype
移动端 touch 事件的originalEvent(转)
dragoo1的专栏
04-19 697
对于移动端的触摸事件，我们通过touchstart、touchmove、touchend实现，PC端一般使用mousedown、mousemove、mouseup实现。 　　我们获取事件坐标，原生js获取方式 mousedown event.pageX mousemove event.pageX mouseup event.pageX touchstart ...
ElasticSearch安装、启动、操作及概念简介
阿水的博客
04-13 2701
ElasticSearch安装、启动、操作及概念简介 Elasticsearch 是位于 Elastic Stack 核心的分布式搜索和分析引擎。Logstash 和 Beats 有助于收集、聚合和丰富您的数据并将其存储在 Elasticsearch 中。Kibana 使您能够以交互方式探索、可视化和分享对数据的见解，并管理和监控堆栈
ElasticSearch简介.pptx
05-20
然而，从 Elasticsearch 7.0 开始已经标记为废弃，并计划在 8.0 版本中完全移除。 - **RestClient**：推荐使用这种方式，它使用 HTTP API 而不是内部协议，减少了对外部库的依赖。 **使用示例**： ```java // 创建...
elasticsearch-head谷歌插件
06-11
1. **集群监控**：Elasticsearch-Head 提供了集群状态的实时视图，包括节点数、索引数、文档数、存储大小等关键指标，便于快速了解集群健康状况。 2. **节点管理**：你可以查看每个节点的详细信息，如内存、磁盘...
elasticsearch kibana
02-28
3. **数据导入**：通过Elasticsearch的API或使用第三方工具（如Logstash）将数据导入到Elasticsearch集群中。 4. **设置索引模式**：定义索引模板，控制数据如何被分片和复制，以及如何进行分析。 5. **在Kibana中...
ElasticSearch 安装指南.pdf
07-01
### ElasticSearch 安装指南知识点概述 #### 一、ElasticSearch 基础概念与重要性...通过遵循这些步骤，用户不仅可以快速部署ElasticSearch环境，还能有效地管理和监控其运行状态，从而更好地满足实际应用场景的需求。
elasticsearch介绍-.zip
05-21
由于采用分布式架构，Elasticsearch 可以快速响应读写请求，支持水平扩展，只需添加更多节点即可提升处理能力。 ### 六、监控与运维 Elasticstack（也称为 ELK stack，包括 Elasticsearch、Logstash 和 Kibana）是...
orginalEvent是什么，有什么用处，jquery不是万能的
凝视深渊
06-09 1330
翻译了一段来自stackoverflow的问答，原文在此。事件对象包括一个叫做originalEvent的属性，代表了浏览器自己产生的事件对象。jquery包裹了这个原生的事件对象，赋予了它jquery的方法和属性。但在某些情况下，需要去取得原始的这个事件对象，就要用到event.orginalEvent属性。尤其在移动端的触摸touch events事件时，尤为有用。
Elasticsearch 教程
weixin_68651384的博客
07-03 2644
POST /索引库名/类型/id值...
ElasticSearch快速入门
weixin_45162862的博客
01-07 1427
通过一个程序扫描文本中的每一个单词，针对单词建立索引，并保存该单词在文本中的位置、以及出现的次数；用户查询时，通过之前建立好的索引来查询，将索引中单词对应的文本位置、出现的次数返回给用户，因为有了具体文本的位置，所以就可以将具体内容读取出来了。内容爬取，停顿词过滤比如一些无用的像"的"，“了”之类的语气词/连接词；内容分词，提取关键词；根据关键词建立倒排索引用户输入关键词进行搜索。
ES操作手册
weixin_38400347的博客
06-28 1156
ec操作手册
ElasticSearch使用笔记
小小先生的博客
06-18 390
安装 ElasticSearch
Elasticsearch：使用 Node.js 将实时数据提取到 Elasticsearch 中（一）
Elastic 中国社区官方博客
01-03 1656
​ Elasticsearch 是一个强大的 RESTful 搜索和分析引擎，能够处理越来越多的用例。 它将集中存储你的数据，以实现闪电般的快速搜索、微调相关性以及可轻松扩展的强大分析。 关于如何使用 Elastic Stack（又名 ELK 堆栈）将数据摄取到 Elasticsearch 的资源有很多。在今天的文章中，我将详细介绍如何使用 Node.js 从零开始来把地震的实时数据采集到 Elasticsearch 中。
Elasticsearch 中的特殊用途查询
最新发布
FireFox1997
08-14 320
Elasticsearch 提供的这些特殊用途查询为开发者提供了极大的灵活性，能够应对各种复杂的查询需求。无论是处理模糊匹配、地理位置搜索，还是寻找相似文档，这些查询类型都能够在不同的应用场景中发挥关键作用。通过合理使用 Fuzzy Query、Wildcard Query、Regexp Query、Geo Queries 和 More Like This Query，可以显著提升搜索引擎的智能性和用户体验。
使用低代码编程操作Elasticsearch示例
Elasticsearch（简称ES）是这个场景下的一个重要工具，它是一个分布式、RESTful风格的搜索和分析引擎，广泛应用于日志分析、实时监控和数据检索等场景。 在提供的内容中，我们看到了Elasticsearch的基本操作，包括...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

逆天至尊

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值