ELK
文章平均质量分 94
ELK
Fisher3652
这个作者很懒,什么都没留下…
展开
-
LogStash 日志采集系统构建
目录1. 创建配置文件2. 启动LogStash3. 查看控制台打印4. 查看es索引5. 查询索引内容6. 细化日志信息7. grok 过滤器8. 创建es模板文件9. 启动LogStash1. 创建配置文件在 Logstash 安装路径下的 config 目录中,新建一个 conf 文件,取名为 es_log.conf,并且填入以下内容input { file { path => "/elk/elasticsearch-7.14.0/logs/my-elk.log" #原创 2022-03-14 23:36:19 · 988 阅读 · 0 评论 -
LogStash 简介
目录1. 概述2. 体系结构2.1 插件2.2 事件2.2.1 访问事件属性2.2.2 事件 API2.3 队列2.3.1 持久化队列2.3.2 死信队列3. 管道配置3.1 主管道配置3.2 单管道配置3.3 多管道配置4. 编解码器插件4.1 plain 插件4.2 line 编解码器4.3 json 编解码器4.4 序列化编解码器5. 输入输出插件5.1 stdin 输入插件和 stdout 插件5.2 elasticsearch 插件5.3 文件插件5.3.1 事件属性5.3.2 读取模式5.3.3原创 2022-03-13 21:33:05 · 15438 阅读 · 1 评论 -
LogStash安装
目录1. 下载安装报2. 上传到服务器3. 启动 Logstash4. 连接 Elasticsearch1. 下载安装报这里选择7.14.0版本,下载地址2. 上传到服务器解压tar -zxvf logstash-7.14.0-linux-x86_64.tar.gz 3. 启动 LogstashLogstash 的启动命令位于安装路径的 bin 目录中,直接运行 logstash 不行, 需要按如下方式提供参数:./logstash -e "input {stdin {原创 2022-03-13 15:31:55 · 12477 阅读 · 0 评论 -
Kibana 文档发现与文档的可视化
目录1 索引模式1.1 创建索引模式Kibana 在整个 Elastic Stack 家族中起到数据可视化的作用,也就是通过图、 表、统计等方式将复杂的数据以更直观的形式展示出来。由于 Kibana 运行于Elasticsearch 基础之上,所以可以将 Kibana 视为 Elasticsearch 的用户图形界面 ( Graphic User Interface, GUI) 。文档发现(Discover)提供了交互式检索文档的接口,用户可以在这里提交查询条件、设置过滤器并查看检索结果。在文档发原创 2022-03-12 17:25:37 · 3134 阅读 · 0 评论 -
Elasticsearch 6: 索引别名
目录1. 创建索引添加别名2. 为已有索引添加别名3. 查询指定索引的别名4. 删除别名5. 查询别名6. 通过别名查询7. _aliases 接口8. 结合路由和别名9. _rollover 接口别名,有点类似数据库的视图,别名一般都会和一些过滤条件相结合,可以做到即使是同一个索引上,让不同人看到不同的数据。别名的访问接口是_alias。1. 创建索引添加别名PUT /index_alias{ "aliases": { "index1": { "原创 2022-03-06 17:10:19 · 2344 阅读 · 0 评论 -
Elasticsearch 集群
目录1. 物理设计1.1 节点和分片1.2 主分片和副本分片1.3 集群扩展1.4 分布式索引和搜索1. 物理设计1.1 节点和分片Elasticsearch 创建索引时,默认情况下,每个索引由 5 个主要分片组成,而每份主要分片又有一个副本, 一共 10 份分片。副本分片对于可靠性和搜索性能很有益处。技术上而言,一份分片是一个目录中的文件,Lucene 用这些文件存储索引数据。分片也是 Elasticsearch 将数据从一个节点迁移到另一个节点的最小单位。一个节点是一个 Elasticsear原创 2022-03-06 16:04:27 · 3558 阅读 · 0 评论 -
SpringBoot 整合 Elasticsearch
目录1. 引入依赖2. 添加配置文件3. 创建ES配置类4. swagger配置类5. 消息返回体6. 创建保存文档的实体7. 索引操作service8. 创建索引controller9. 测试索引操作9.1 创建索引9.2 判断索引是否存在9.3 删除索引10. 文档操作service11. 创建文档controller12. 测试文档操作12.1 插入文档12.2 查询文档12.3 更新文档12.4 删除文档13. search操作service14. search操作controller15. 测试s原创 2022-03-05 20:44:45 · 2487 阅读 · 0 评论 -
Elasticsearch 5: 聚集查询
目录1. 聚集查询2. 指标聚集2.1 平均值聚集2.1.1 avg 聚集2.2 计数聚集与极值聚集2.2.1 计数聚集2.2.2 极值聚集2.3 统计聚集2.3.1 stats 聚集2.3.2 extended_stats 聚集文中使用的数据可以参考Elasticsearch 数据检索和分析导入数据相关内容1. 聚集查询聚集查询(Aggregation)提供了针对多条文档的统计运算功能,它不是针对文档本身内容的检索,而是要将它们聚合到一起运算某些方面的特征值。聚集查询与 SQL 语言中的聚集原创 2022-02-24 21:37:14 · 2173 阅读 · 1 评论 -
Elasticsearch 4: 相关性检索和组合查询
目录1. 相关性评分2. 相关度模型2.1 布尔模型2.2 向量空间模型2.3 概率模型2.4 语言模型3. TF/IDF4. BM254.1 词频饱和度4.2 长度归一化5. 相关度解释在全文检索中,检索结果与查询条件的相关性是一个极为重要的问题,优秀 的全文检索引擎应该将那些与查询条件相关性高的文档排在最前面。想象一下。 如果满足查询条件的文档成千上万,让用户在这些文档中再找出自己最满意的那 一条,这无异于再做一次人工检索。用户一般很少会有耐心在检索结果中翻到第 3 页,所以处理好检索结果的相关性对原创 2022-02-24 17:46:34 · 2146 阅读 · 0 评论 -
Elasticsearch 3: 数据检索和分析
目录1. 导入数据2. _search 接口2.1 分页2.2 字段匹配2.3 排序1. 导入数据提前准备好数据,这里使用es提供的样例数据打开首页,点击Add data选择 sample data 选项,添加Sample flight data和Sample web logs导入成功2. _search 接口所有的 REST 搜索请求使用_search 接口,既可以是 GET 请求,也可以是 POST请求,也可以通过在搜索 URL 中指定索引来限制范围_search 接原创 2022-02-15 21:55:55 · 3042 阅读 · 0 评论 -
Elasticsearch 2: 管理索引和文档
目录1. 索引的管理1.1 列出所有索引1.2 关闭索引1.3 打开索引1.4 配置索引1.4.1 静态设置1.4.2 动态设置1.4.3 配置映射2. 文档的管理2.1 增加文档2.2 文档的 id2.3 查询文档2.4 更新文档2.5 删除文档1. 索引的管理对索引的操作遵循Restful风格,GET 用来查看索引,PUT 用来创建索引,DELETE用来删除索引,HEAD用来检验索引是否存在1.1 列出所有索引GET /_cat/indices?v1.2 关闭索引如果关闭了一个索引,原创 2022-02-14 22:10:30 · 2132 阅读 · 0 评论 -
Elasticsearch 1: 基本原理和概念
目录1. 倒排索引 Inverted index2. 基本概念3. Elasticsearch索引4. 文档 (Document)5. 映射6. 文档字段6.1 数据类型6.1.1 核心数据类型6.1.2 复杂数据类型6.1.3 地理数据类型6.1.4 专门数据类型6.2 数组6.3 对象6.4 多数据类型1. 倒排索引 Inverted index将文档中包含的关键字全部提取处理,然后再将关键字和文档之间的对应关系保存起来,最后再对关键字本身做索引排序。用户在检索某一个关键字是,先对关键字的索引进行原创 2022-02-13 20:16:23 · 1183 阅读 · 0 评论 -
Kibana安装与配置
目录1. 下载安装包2. 上传到服务器3. 创建用户4. 配置5. 启动服务1. 下载安装包下载地址https://www.elastic.co/cn/downloads/past-releases#kibana这里选择7.14.0,linux86位版本2. 上传到服务器解压tar -zxvf kibana-7.14.0-linux-x86_64.tar.gz3. 创建用户因为之前在安装elasticsearch时,已经创建过用户elk,这里就不再创建了,可以参考Elast原创 2022-02-13 18:48:08 · 2827 阅读 · 0 评论 -
Elasticsearch安装与配置
目录1. 下载安装包2. 上传到服务器3. 创建用户4. 提升服务器配置5. 启动服务6. 配置外网访问1. 下载安装包下载地址https://www.elastic.co/cn/downloads/past-releases#elasticsearch这里选择7.14.0,linux86位版本2. 上传到服务器解压tar -zxvf elasticsearch-7.14.0-linux-x86_64.tar.gz3. 创建用户因为elasticsearch不允许使用roo原创 2022-02-13 17:44:24 · 1810 阅读 · 0 评论