ELK
文章平均质量分 93
艾希逐月
帘外芭蕉惹骤雨门环惹铜绿
展开
-
ElasticSearch 父子文档使用简记
一. ES parent-child 文档简介二. 父子文档的索引创建与数据插入ES 父子文档的创建可以分为下面三步:创建索引 Mapping,指明数据类型为 join 与父子文档名插入父文档插入子文档下面针对每一步做演示。1. 创建索引假设我们有一个博客系统,每篇博客下有若干条评论,那么博客 blog 与评论 comment 就构成了一个父子关系。2. 插入父文档3. 插入子文档4. 其他构建多个子文档构建多层父子关系三. 父子文档的查询基于父子文档的查询主要有三种:原创 2020-06-17 21:27:15 · 2880 阅读 · 0 评论 -
ES 远端集群配置与跨集群搜索
ES 中可以配置远程集群实现跨集群的搜索,极大的提高了 ES 集群的水平扩展性,跨集群搜索也是 ES 认证考试中经常考的知识点。本篇文章简单总结下 ES 远端集群的配置和跨集群搜索作为备忘,也希望对需要的同学有所帮助。一. 配置远端集群为了实现跨集群搜索首先需在当前集群中配置远程集群,我们可以通过下面三种方式配置:1. 配置文件设置首先可以在 ElasticSearch 的 yml 配置文件中设置,ES 启动时就会建立与远端集群的链接,配置如下:cluster: remote: clu原创 2020-06-15 16:22:27 · 2229 阅读 · 4 评论 -
【ELK笔记】ELK的安装,快速搭建一个ELK日志分析平台
ELK 是 ElasticSearch、 LogStash、 Kibana 三个开源工具的简称,现在还包括 Beats,其分工如下:LogStash/Beats: 负责数据的收集与处理ElasticSearch: 一个开源的分布式搜索引擎,负责数据的存储、检索和分析Kibana: 提供了可视化的界面。负责数据的可视化操作基于 ELK Stack 可以构建日志分析平台、数据分析搜索平...原创 2018-03-19 11:33:49 · 23368 阅读 · 1 评论 -
【ELK笔记】-ES基本概念与 API 操作
本篇主要对 ES 中集群、节点、索引、文档的基本概念和增删改查的基本 API 做简要的总结梳理。一. 基本概念1. 文档(document)文档是 ES 中记录数据的基本单位,是一系列数据字段的组合,本质上是一个 JSON 对象,类似于 MySQL 数据库中的一行数据,由各个不同数据类型的字段组成。包括常见的字符串类型、整型、日期等,也有一些 ElasticSearch 中...原创 2018-03-27 22:50:52 · 6767 阅读 · 0 评论 -
【ELK 笔记】ES search API 使用简记
ElasticSearch 常用的查询语法简记ES 中提供了两种查询语法URISearch API: 通过 uri query 参数来实现快速搜索,操作简单,但是不覆盖所有的查询语法Request Body: ES 提供的 DSL 查询语法,覆盖所有的查询,是使用更多的一种。一. URISearchURISearch 通过在url 中设置 query 参数实现快速...原创 2018-05-19 09:20:51 · 4020 阅读 · 0 评论 -
基于 ELK 与 ElaticAlert 搭建系统监控报警
之前学习了通过 ELK 进行 Nginx 的日志收集与分析,有了日志之后我们就可以通过解析日志近实时的监控服务器的访问状态了。通常 Nginx 都是作为代理服务器进行使用的,当我们的应用服务因为某些原因挂掉时,Nginx 访问就会出现频繁 502 的情况,基于这一场景我们可以进行报警来及时提醒我们去解决问题。本篇文章主要简单介绍下基于 ELK 实现监控的过程。一. ELK 的安装首先是...原创 2018-08-29 08:28:52 · 5362 阅读 · 0 评论 -
ElasticSearch Mapping 与数据建模简记
当我们使用数据库时需要先建表,确定一张表一行数据存储哪些字段,每个字段的数据类型、约束是怎样的。ElasticSearch 也一样,在使用时其每个索引每个文档要确定存储哪些字段,这些字段是何种数据类型,数据怎样转换,是否需要索引等。在使用 ES 索引之前我们也需要了解要存储哪些数据,然后对数据进行建模。本篇笔记将简要介绍下 ES Mapping 使用的相关内容,包括数据类型、自定义 Mappi...原创 2018-10-13 11:58:07 · 1484 阅读 · 0 评论 -
ES 准实时存储机制与文档的分布式存储过程
一. Lucene Index 与 ES Shard我们知道 ES 底层利用的是 Lucene 的倒排索引实现搜索的,而倒排索引有个特点是: 一旦创建,不可更改。该特点可以带来如下好处:充分利用缓存不需要考虑并发写的锁机制带来的影响可以利用压缩节约空间但是当新的文档存储进来,需要构建新的倒排索引时,其需要先重新构建倒排索引文件,然后将之后的查询替换到新的倒排索引文件上,在将旧的文件替...原创 2018-11-12 22:26:04 · 1475 阅读 · 0 评论