Elastic Stack ELK
文章平均质量分 80
Elastic Stack 各个组件的部署和基本使用
少量高级操作
shark_西瓜甜
80后运维、运维开发职业从事者
展开
-
Elastic Stack-01-Filebeat-8.3
一、安装curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.10.1-linux-x86_64.tar.gztar xzvf filebeat-7.10.1-linux-x86_64.tar.gz -C /二、启用和配置数据收集模块编辑Filebeat使用模块来收集和解析日志数据。1 查看可以启用的模块列表./filebeat modules list2 在安装目录中,启用一个或多个模块。原创 2020-12-29 11:49:07 · 1524 阅读 · 0 评论 -
Elastic Stack-02-Logstash-7.10.0-入门
一、安装二、测试安装首先,让我们通过运行最基本的Logstash管道来测试Logstash安装。Logstash管道具有两个必需元素input和output,以及一个可选元素filter。输入插件使用来自源的数据,过滤器插件根据您的指定修改数据,输出插件将数据写入目标。测试Logstash安装,请运行最基本的Logstash管道。例如:cd logstash-7.10.1bin/logstash -e 'input { stdin { } } output { stdout {} }'需要原创 2020-12-28 09:02:02 · 2392 阅读 · 3 评论 -
Elastic Stack-03-Elasticsearch7.10.0-集群部署
一、基本介绍1 集群条件集群最少 3 个节点, 集群的每个节点都需要使用非 root 用户启动。2 Elasticsearch 基本概念介绍2.1 文档2.2 文档源数据_all 字段在7.0版本中已被废除_version 为了解决在大量并发写入时候文档冲突问题_score 用于标识在一次查询结果中某条数据和希望查询到的目标的相似度2.3 索引索引在不同环境下的语义2.4 Type在 7.0 之前,一个 Index 可以设置多个 Types7.0 开始一个索引只能建立一个原创 2020-12-27 18:44:15 · 1532 阅读 · 0 评论 -
Elastic Stack-04-Filebeat-Logstash-Elasticsearch
一、 介绍此篇文档的目的是把前几篇所说的知识点联系起来,做一个综合的使用,最终行称一个可以用于生产的简单配置方案。使用 Filebeat 搜集 Nginx 的日志,输出到 Logstash, 再由 Logstash 处理完数据后输出到 Elasticsearch。二、配置步骤1 Elasticsearchelasticsearch.ymlcluster.name: elknode.name: ela1node.data: truenetwork.host: 0.0.0.0http.po原创 2020-12-29 17:06:55 · 619 阅读 · 1 评论 -
Elastic Stack-04-Kibana7.10.0
一、部署和运行 Kibanacurl -L -O https://artifacts.elastic.co/downloads/kibana/kibana-7.10.1-linux-x86_64.tar.gztar xzvf kibana-7.10.1-linux-x86_64.tar.gzcd kibana-7.10.1-linux-x86_64/./bin/kibana二、设置$KBNA_HOME/config/kibana.ymlserver.host: "0.0.0.0"elast原创 2020-12-27 22:18:17 · 1522 阅读 · 0 评论 -
Elastic Stack-Filebeat-kafka-Logstash-Elasticsearch
pipeline 文件的写法1 input.conf[root@prod logstash]# cat pipeline/input.confinput { # 监听 5044 端口,用于接收 filebeat 输出的日志数据 beats { port => 5044 }}2 filter.conf[root@prod logstash]# cat pipeline/filter.conffilter { if [event][module] == "ngi翻译 2021-02-21 16:14:51 · 413 阅读 · 0 评论 -
Logstash的filter插件-Grok
一、介绍Grok是一种将非结构化日志数据解析为结构化和可查询数据的好方法。这个工具非常适合于syslog日志、apache和其他web服务器日志、mysql日志,以及通常为人类而不是计算机使用编写的任何日志格式。二、选择Grok or Dissect?还是两者兼有?dissect filter插件是使用分隔符将非结构化事件数据提取到字段中的另一种方法。Dissect与Grok的不同之处在于它不使用正则表达式,而且速度更快。当数据可靠地重复时,Dissect工作得很好。当文本的结构因行而异时,Gr原创 2021-06-07 22:17:14 · 524 阅读 · 0 评论 -
Logstash的filter插件-Dissect
一、介绍Dissect filter 是一种分割操作。与常规拆分操作不同,其中一个分隔符应用于整个字符串,此操作将一组分隔符应用于字符串值。Dissect不使用正则表达式,而且速度非常快。但是,如果文本的结构因行而异,那么Grok更适合。有一种混合的情况,可以使用Dissect来消除可靠重复的行的部分结构,然后Grok可以用于剩余的字段值,具有更高的regex可预测性,并且不需要做太多的总体工作。二、示例[root@es03 logstash]# cat dissect.confinput {原创 2021-06-08 08:55:09 · 774 阅读 · 0 评论 -
Elastic Stack-Elasticsearch其他安装方式
一、 二进制压缩包方式下载和安装Elasticsearch 是一个分布式、RESTful 风格的搜索和数据分析引擎,能够解决不断涌现出的各种用例。 作为 Elastic Stack 的核心,它集中存储您的数据,帮助您发现意料之中以及意料之外的情况。下载二进制压缩包二进制压缩包可以解压后直接使用无需编译 wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.10.0-linux-x86_64.tar.gz原创 2020-12-26 17:36:38 · 961 阅读 · 0 评论 -
Elastic Stack-Elasticsearch7.10.0-集群优化
一、开发模式与生产模式默认情况下,Elasticsearch假定您正在开发模式下工作。如果上述任何设置的配置不正确,都会在日志文件中写入警告,但是您将能够启动和运行Elasticsearch节点。一旦您配置了类似的网络设置network.host,Elasticsearch就会假设您即将投入生产,并将上述警告升级为异常。这些异常将阻止您的Elasticsearch节点启动。这是一项重要的安全措施,可确保不会因服务器配置错误而丢失数据。二、重要的系统设置1 设置文件描述符数/文件句柄数Elastic原创 2020-12-27 21:22:28 · 855 阅读 · 1 评论