ELK日志分析平台

最新推荐文章于 2024-04-10 23:47:20 发布
最新推荐文章于 2024-04-10 23:47:20 发布
阅读量172 收藏
点赞数
分类专栏： ELK 文章标签： elk elasticsearch 搜索引擎
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Z_RINGRUI/article/details/126797791
版权

1.elasticsearch实战

（1）elasticsearch简介

  • Elasticsearch 是一个开源的分布式搜索分析引擎，建立在一个全文搜索引擎库 Apache Lucene基础之上。
  • Elasticsearch不仅仅是 Lucene，并且也不仅仅只是一个全文搜索引擎：
  • 一个分布式的实时文档存储，每个字段 可以被索引与搜索
  • 一个分布式实时分析搜索引擎
  • 能胜任上百个服务节点的扩展，并支持 PB 级别的结构化或者非结构化数据

基础模块

  • cluster：管理集群状态，维护集群层面的配置信息。
  • alloction：封装了分片分配相关的功能和策略。
  • discovery：发现集群中的节点，以及选举主节点。
  • gateway：对收到master广播下来的集群状态数据的持久化存储。
  • indices：管理全局级的索引设置。
  • http：允许通过JSON over HTTP的方式访问ES的API。
  • transport：用于集群内节点之间的内部通信。
  • engine：封装了对Lucene的操作及translog的调用。
  • elasticsearch应用场景：
    • 信息检索
    • 日志分析
    • 业务数据分析
    • 数据库加速
    • 运维指标监控
  • 官网：https://www.elastic.co/cn/

（2） elasticsearch安装与配置

实验环境
三台主机：
server4: ----> 192.168.174.50
server5: ----> 192.168.174.60
server6: ----> 192.168.174.70

  • 软件下载：
    https://elasticsearch.cn/download/
  • 安装软件
[root@server ~]# yum install -y elasticsearch-7.6.1-x86_64.rpm

在这里插入图片描述

  • 设置服务自启
[root@server ~]# systemctl daemon-reload
[root@server ~]# systemctl enable --now elasticsearch.service
  • 修改配置文件
vim /etc/elasticsearch/elasticsearch.yml
编辑：
cluster.name: my-es    #集群名称((自定义)
node.name: server4     #主机名需要解析
path.data: /var/lib/elasticsearch     #数据目录
path.logs: /var/log/elasticsearch     #日志目录
bootstrap.memory_lock: true     #锁定内存分配（要求主机内存大于2G）
network.host: 192.168.174.50     #主机ip
discovery.seed_hosts: ["server4", "server5","server6"]    #节点主机名称
cluster.initial_master_nodes: ["server4", "server5","server6"]     #主节点主机名称
  • 修改系统限制
vim /etc/security/limits.conf
写入:
elasticsearch soft memlock unlimited
elasticsearch hard memlock unlimited
elasticsearch - nofile 65536
elasticsearch - nproc 4096

vim jvm.options
-Xms1g
-Xmx1g

Xmx设置不超过物理RAM的50％，以确保有足够的物理RAM留给内核文件
系统缓存。但不要超过32G。
  • 修改systemd启动文件
vim /usr/lib/systemd/system/elasticsearch.service
[Service] #在service语句块下添加
LimitMEMLOCK=infinity

systemctl daemon-reload
systemctl start elasticsearch
  • 在浏览器页面访问：
    http://192.168.174.50:9200
    在这里插入图片描述

(3) elasticsearch插件安装

  • 下载elasticsearch-head插件
 wget https://github.com/mobz/elasticsearch-head/archive/master.zip
unzip elasticsearch-head-master.zip
  • head插件本质上是一个nodejs的工程，因此需要安装node：
wget 
https://mirrors.tuna.tsinghua.edu.cn/nodesource/rpm_9.x/el/7/x86_64/
nodejs-9.11.2-1nodesource.x86_64.rpm
rpm -ivh nodejs-9.11.2-1nodesource.x86_64.rpm
npm -v     进入该系统源
  • 更换npm源安装
cd elasticsearch-head-master/
npm install --registry=https://registry.npm.taobao.org

在这里插入图片描述

  • 修改ES主机ip和端口
vim _site/app.js
编辑：
"http://172.25.0.7:9200"
  • 启动head插件并在后台运行
npm run start &

在这里插入图片描述

  • 修改ES跨域主持
 vim /etc/elasticsearch/elasticsearch.yml
 写入;
http.cors.enabled: true         # 是否支持跨域
http.cors.allow-origin: "*"     # *表示支持所有域名
  • 重启ES服务
systemctl restart elasticsearch.service
  • 在浏览器上访问head插件服务

http:/192.168.174.50:9100
在这里插入图片描述

  • 创建索引
    在这里插入图片描述
  • 查看索引信息
    在这里插入图片描述
    在这里插入图片描述

2.elasticsearch分布式部署

以相同方法再安装两个ES节点，配置如下：

  • 节点1：
# grep -v ^# /etc/elasticsearch/elasticsearch.yml 
cluster.name: my-es
node.name: server13
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
bootstrap.memory_lock: true
network.host: 172.25.0.13
http.port: 9200
http.cors.enabled: true
http.cors.allow-origin: "*"
discovery.seed_hosts: ["server13", "server14", "server15"]
  • 节点2：
# grep -v ^# /etc/elasticsearch/elasticsearch.yml 
cluster.name: my-es
node.name: server14
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
bootstrap.memory_lock: true
network.host: 172.25.0.14
http.port: 9200
discovery.seed_hosts: ["server13", "server14", "server15"]
  • 节点3：
# grep -v ^# /etc/elasticsearch/elasticsearch.yml 
cluster.name: my-es
node.name: server15
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
bootstrap.memory_lock: true
network.host: 172.25.0.15
http.port: 9200
discovery.seed_hosts: ["server13", "server14", "server15"]
  • 查看ES集群状态
    在这里插入图片描述

3.elasticsearch节点角色

  • Master：
    • 主要负责集群中索引的创建、删除以及数据的Rebalance等操作。
    Master不负责数据的索引和检索，所以负载较轻。当Master节点失联或
    者挂掉的时候，ES集群会自动从其他Master节点选举出一个Leader。
  • Data Node：
    • 主要负责集群中数据的索引和检索，一般压力比较大。
  • Coordinating Node：
    • 原来的Client node的，主要功能是来分发请求和合并结果的。所有节点
    默认就是Coordinating node，且不能关闭该属性。
  • Ingest Node：
    • 专门对索引的文档做预处理

4.elasticsearch节点优化

  • 在生产环境下，如果不修改elasticsearch节点的角色信息，在高数
    据量，高并发的场景下集群容易出现脑裂等问题。
  • 默认情况下，elasticsearch集群中每个节点都有成为主节点的资格，
    也都存储数据，还可以提供查询服务。
  • 节点角色是由以下属性控制：
    • node.master: false|true
    • node.data: true|false
    • node.ingest: true|false
    • search.remote.connect: true|false
    默认情况下这些属性的值都是true。
  • node.master：这个属性表示节点是否具有成为主节点的资格
    注意：此属性的值为true，并不意味着这个节点就是主节点。
    因为真正的主节点，是由多个具有主节点资格的节点进行选
    举产生的。
  • node.data：这个属性表示节点是否存储数据。
  • node.ingest: 是否对文档进行预处理。
  • search.remote.connect：是否禁用跨集群查询
  • 第一种组合：（默认）
    • node.master: true
    • node.data: true
    • node.ingest: true
    • search.remote.connect: true
    这种组合表示这个节点即有成为主节点的资格，又存储数据。
    如果某个节点被选举成为了真正的主节点，那么他还要存储数据，这样对于
    这个节点的压力就比较大了。
    测试环境下这样做没问题，但实际工作中不建议这样设置。
  • 第二种组合：（Data node）
    • node.master: false
    • node.data: true
    • node.ingest: false
    • search.remote.connect: false
    这种组合表示这个节点没有成为主节点的资格，也就不参与选举，只会存储
    数据。
    这个节点称为data(数据)节点。在集群中需要单独设置几个这样的节点负责存储数据。后期提供存储和查询服务。
  • 第三种组合：（master node）
    • node.master: true
    • node.data: false
    • node.ingest: false
    • search.remote.connect: false
    这种组合表示这个节点不会存储数据，有成为主节点的资格，可以参与选举，
    有可能成为真正的主节点。
    这个节点我们称为master节点。
  • 第四种组合：（Coordinating Node）
    • node.master: false
    • node.data: false
    • node.ingest: false
    • search.remote.connect: false
    这种组合表示这个节点即不会成为主节点，也不会存储数据，
    这个节点的意义是作为一个协调节点，主要是针对海量请求的时候可以进行负载均衡。
  • 第五种组合：（Ingest Node）
    • node.master: false
    • node.data: false
    • node.ingest: true
    • search.remote.connect: false
    这种组合表示这个节点即不会成为主节点，也不会存储数据，
    这个节点的意义是ingest节点，对索引的文档做预处理。
  • 生产集群中可以对这些节点的职责进行划分
    • 建议集群中设置3台以上的节点作为master节点，这些节点只负责成为
    主节点，维护整个集群的状态。
    • 再根据数据量设置一批data节点，这些节点只负责存储数据，后期提供
    建立索引和查询索引的服务，这样的话如果用户请求比较频繁，这些节点
    的压力也会比较大。
    • 所以在集群中建议再设置一批协调节点，这些节点只负责处理用户请求，实现请求转发，负载均衡等功能。
  • 节点需求
    • master节点：普通服务器即可(CPU、内存 消耗一般)
    • data节点：主要消耗磁盘、内存。
    • path.data: data1,data2,data3
    这样的配置可能会导致数据写入不均匀，建议只指定一个数据路径，磁盘可以使
    用raid0阵列，而不需要成本高的ssd。
    • Coordinating节点：对cpu、memory要求较高。
  • 调整后的ES集群状态
    在这里插入图片描述

5.logstash数据采集

(1) logstash简介

  • Logstash是一个开源的服务器端数据处理管道。
  • logstash拥有200多个插件，能够同时从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的 “存储库” 中。（大多都是 Elasticsearch。）
  • Logstash管道有两个必需的元素，输入和输出，以及一个可选元素过滤器。
    在这里插入图片描述
  • 输入：采集各种样式、大小和来源的数据
    • Logstash 支持各种输入选择 ，同时从众多常用来源捕捉事件。
    • 能够以连续的流式传输方式，轻松地从您的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。
    在这里插入图片描述
  • 过滤器：实时解析和转换数据
  • 数据从源传输到存储库的过程中，Logstash 过滤器能够解析各个事件，
    识别已命名的字段以构建结构，并将它们转换成通用格式，以便更轻松、
    更快速地分析和实现商业价值。
    • 利用 Grok 从非结构化数据中派生出结构
    • 从 IP 地址破译出地理坐标
    • 将 PII 数据匿名化，完全排除敏感字段
    • 简化整体处理，不受数据源、格式或架构的影响
  • 输出：选择您的存储库，导出您的数据
    • 尽管 Elasticsearch 是我们的首选输出方向，能够为我们的搜索和分析带来无限可能，但它并非唯一选择。
    • Logstash提供众多输出选择，您可以将数据发送到您要指定的地 方，并且能够灵活地解锁众多下游用例。
    在这里插入图片描述

(2) logstash安装与配置

  • 软件下载
    https://elasticsearch.cn/download/
  • logstash安装
rpm -ivh jdk-8u171-linux-x64.rpm
rpm -ivh logstash-7.6.1.rpm
  • 标准输入到标准输出
/usr/share/logstash/bin/logstash -e 'input { stdin { } } 
output { stdout {} }'
  • 标准输入中键入"hello world"可以看到：
    在这里插入图片描述

标准输入

  • 标准输入到文件
vim /etc/logstash/conf.d/file.conf
编辑：
input  {
        stdin {}
}

output {
         stdout {}

         file {
                 path => "/tmp/testfile"
                 codec => line { format => "custom format: %{message}"}
        }
}
  • 指定配置文件运行
/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/file.conf
  • 标准输入中键入"hello world"可以看到：

在这里插入图片描述

  • 标准输入到es主机：
vim /etc/logstash/conf.d/file.conf
编辑：
input  {
        stdin {}
}

output {
         stdout {}

        # file {
        #        path => "/tmp/testfile"
        #        codec => line { format => "custom format: %{message}"}
        #}
 elasticsearch {
          index => "apachelog-%{+YYYY.MM.dd}"
          hosts => ["192.168.174.50:9200"]
        }
}
  • 指定配置文件运行
 /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/file.conf

在这里插入图片描述

  • 查看es主机
    在这里插入图片描述

file输入插件

  • 增加权限
chmod 664 /var/log/messages

vim /etc/logstash/conf.d/file.conf
编辑：
input  {
        #stdin {}
        file {
            path => "/var/log/messages"
            start_position => "beginning"
       }
}

output {
         stdout {}

        # file {
        #        path => "/tmp/testfile"
        #        codec => line { format => "custom format: %{message}"}
        #}
 elasticsearch {
          index => "messages-%{+YYYY.MM.dd}"
          hosts => ["192.168.174.50:9200"]
        }
}
  • 指定配置文件运行
/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/file.conf

在这里插入图片描述

  • 查看ES主机：
    在这里插入图片描述
  • logstash如何区分设备、文件名、文件的不同版本
  • logstash会把进度保存到sincedb文件中
# find / -name .sincedb*
/usr/share/logstash/data/plugins/inputs/file/.sincedb_45290
5a167cf4509fd08acb964fdb20c
# cd /usr/share/logstash/data/plugins/inputs/file/
# cat .sincedb_452905a167cf4509fd08acb964fdb20c 
20297 0 64768 119226 1551859343.6468308 
/var/log/messages
# ls -i /var/log/messages
20297 /var/log/messages
  • sincedb文件内容解释
# cat .sincedb_452905a167cf4509fd08acb964fdb20c
20297 0 64768 119226 1551859343.6468308 
/var/log/messages
  • sincedb文件一共6个字段
    • inode编号
    • 文件系统的主要设备号
    • 文件系统的次要设备号
    • 文件中的当前字节偏移量
    • 最后一个活动时间戳（浮点数）
    • 与此记录匹配的最后一个已知路径

syslog输入插件

 vim /etc/logstash/conf.d/syslog.conf
 编辑：
 input {
 syslog {
 type => "rsyslog"
 port => 514     #日志收集端口
 }
}
output {
 stdout { }
}
  • 指定配置文件运行
/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/syslog.conf

在这里插入图片描述

  • 指定开启514端口
netstat -antulp |grep :514

在这里插入图片描述

  • 配置客户端传入日志
vim /etc/rsyslog.conf
写入：
*.* @@192.168.174.80：514

systemctl restart rsyslog
  • 查看logstash上的标准输出：
    在这里插入图片描述

多行过滤插件

vim /etc/logstash/conf.d/multiline.conf
编辑:
   input {
             stdin {
             codec => multiline {
                             pattern => "^EOF"
                             negate => true
                             what => previous
                             } 
              }
 }
output {
           stdout {}
}
  • 指定配置文件运行
 /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/filter.conf
  • 查看输入
    在这里插入图片描述

grok过滤插件

  • grok过滤
vim /etc/logstash/conf.d/grok.conf
编辑：
input {
          stdin {}
}
filter {
          grok {
          match => { "message" => "
          %{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}" }
         } 
}
output {
       stdout {}
}
  • 指定配置文件运行
 /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/grok.conf
  • 查看输出
    55.3.244.1 GET /index.html 15824 0.043
    在这里插入图片描述
  • apache服务日志过滤实战
vim /etc/logstash/conf.d/apache.conf
编辑：
input {
         file {
                path => "/var/log/httpd/access_log"
                start_position => "beginning"
        }
}
filter{
        grok {
                match => { "message" => "%{HTTPD_COMBINEDLOG}" }
        }
}
output {
        elasticsearch {
                hosts => "192.168.174.60:9200"
                index => "apachelog-%{+YYYY.MM.dd}"
         }
}
  • 指定配置文件运行
/usr/share/logstash/bin/logstash -f 
/etc/logstash/conf.d/apache.conf

在这里插入图片描述

  • 查看输入
    在这里插入图片描述

3.kibana数据可视化

(1) Kibana简介

• Kibana 核心产品搭载了一批经典功能：柱状图、线状图、饼图、旭日图，等等。
在这里插入图片描述

  • 将地理数据融入任何地图
    在这里插入图片描述
  • 精选的时序性 UI，对您Elasticsearch 中的数据执行高级时间序列分析。
    在这里插入图片描述
  • 利用 Graph 功能分析数据间的关系
    在这里插入图片描述
  • Kibana 开发工具为开发人员提供了多种强大方法来帮助其与Elastic Stack 进行交互。

在这里插入图片描述

(2) kibana安装与配置

  • kibana下载
    https://elasticsearch.cn/download/
 rpm -ivh kibana-7.6.1-x86_64.rpm
  • kibana配置：
vim /etc/kibana/kibana.yml
编辑：
server.port: 5601              #服务端口
server.host: "192.168.174.90"     #服务监听地址
elasticsearch.hosts: ["http://192.168.174.50:9200"]      #ES集群地址
kibana.index: ".kibana"     #kibana在ES中创建的索引
i18n.locale: "zh-CN"     #语言
  • 启动kibana服务
systemctl enable kibana
systemctl start kibana
  • 查看端口
netstat -antlp|grep :5601

在这里插入图片描述

  • 访问kibana
    http://192.168.174.90:5601
    在这里插入图片描述
  • 创建索引匹配
    在这里插入图片描述
  • 基于ES索引创建可视化
    在这里插入图片描述
  • 声称访问量可视化
    在这里插入图片描述
  • 创建柱状图（访问量排行榜）
    在这里插入图片描述
  • 创建dashboard
    在这里插入图片描述

（3） 启用xpack安全验证

Z_RINGRUI
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ELK日志分析监控平台
派大星的不眠博客
02-21 1万+
日志对于分析系统、应用的状态十分重要，但一般日志的量会比较大，并且比较分散。 如果管理的服务器或者程序比较少的情况我们还可以逐一登录到各个服务器去查看、分析。但如果服务器或者程序的数量比较多了之后这种方法就显得力不从心。基于此，一些集中式的日志系统也就应用而生。目前比较有名成熟的有，Splunk(商业)、FaceBook 的Scribe、Apache的Chukwa Cloudera的Fluentd、还有ELK等等。
【SpringBoot】五、日志配置（Log4j2、Logback）
winrh的博客
09-02 1286
目录 一、介绍 二、Logback 1. 生成日志对象 2. 日志级别 3. 输出日志文件 （1）默认输出 （2）自定义输出 （3）设置文件属性 4. 输出格式设置 5. 指定日志配置文件 三、Log4j2 1. 配置依赖 2. 配置默认文件log4j2.yml （1）resources下创建log4j2.yml （2）在application.yml中配置读取该yml文件 （3）编辑log4j2.yml （4）如果颜色显示不了 一、介绍 常见的日志框架有下面这...
Linux企业运维——ELK日志分析平台（中）ES节点优化、logstash数据采集、过滤插件
weixin_44310047的博客
03-08 1940
Linux企业运维——ELK日志分析平台（中） 文章目录Linux企业运维——ELK日志分析平台（中）1、ES节点优化1.1、ES节点角色1.2、节点角色属性1.3、属性组合方式1.4、节点职责划分2、logstash数据采集2.1、logstash简介2.2、logstash安装与配置2.3、logstash采集系统日志2.4、logstash伪装成日志服务器，直接接收远程日志3、过滤插件3.1、多行过滤插件3.2、grok过滤插件 1、ES节点优化 1.1、ES节点角色 Master： 主要负责集群中
ELK日志分析系统
最新发布
AH99999的博客
04-10 1100
ELK是三个软件的统称，即Elasticsearch、Logstash和Kibana三个开源软件的缩写。这三款软件都是开源软件，通常配合使用，并且都先后归于Elastic.co企业名下，故被简称为ELK协议栈。ELK主要用于部署在企业架构中，收集多台设备上多个服务的日志信息，并将其统一整合后提供给用户。它可以从任何来源、任何格式进行日志搜索、分析与可视化展示。
Logstash日志同步工具
weixin_44848382的博客
12-06 995
Logstash日志同步工具安装logstash配置logstash配置文件介绍sincedb数据库文件功能介绍漏掉的日志文件如何读取logstash从头读取某个日志文件的方法sincedb参数说明： 安装logstash 如果有yum源可以直接安装 yum install logstash -y 如果没有yum源，可以官方下载相关软件包https://www.elastic.co/cn/downloads/logstash 配置logstash 配置文件介绍 配置文件：/etc/logstash/co
Elasticsearch7.17 七 :Logstash与FileBeat详解以及ELK整合
huaxinzhang的博客
05-26 1401
Elasticsearch7.17 七 :Logstash与FileBeat详解以及ELK整合
elk日志分析平台
04-08
系统环境: rhel6.5 elasticsearch:2.3.3 logstash:2.3.3 kibana:4.5.1 https://www.elastic.co/downloads 从官网下载的最新版本 rpm 包
ELK日志分析平台搭建全过程
02-24
当生产环境有很多服务器、很多业务模块的日志需要每时每刻查看时系统：centos6.5JDK：1.8Elasticsearch-5.0.0Logstash-5.0.0kibana-5.0.01、安装JDK下载JDK：...将安装包拷贝至安装服务器/usr/local目录[root@localhost...
ELK日志分析平台搭建步骤.doc
08-07
什么是ELK？通俗来讲，ELK是由Elasticsearch、Logstash、Kibana 三个开源软件组成的 一个组合体，这三个软件当中，每个软件用于完成不同的功能，ELK又称ELKstack。
ELK:搭建ELK日志分析平台
04-13
搭建ELK日志分析平台。此处为其核心配置文件。具体搭建过程请参考文档 Screenshots elasticsearch索引列表 Nginx日志分析 Syslog系统日志分析 Tomcat日志分析 系统日志分析 Topbeat Dashboard logstash命令 logstash...
win11的 logstash 7.6.2 连接es 7.6.2集群
热门推荐
专注于Java架构学习 https://gitee.com/laokouyun https://github.com/KouShenhai
05-05 2万+
小伙伴们，你们好，我是老寇 一、下载logstash（跳过） 注意：一定要与es版本保持一致 二、启动es集群（es集群搭建） 三、配置logstash.conf input{ tcp { port => 5044 codec => json_lines } } output{ elasticsearch{ hosts=>["192.
mysql同步数据到es之logstash
喜欢分享,善于记录工作中遇到的问题,和自己的思考
08-12 5052
mysql同步数据到es
es集群及logstash搭建记录
webpetter的博客
03-13 3478
9300端口是使用tcp客户端连接使用的端口；（es之间通讯的端口） 9200端口是通过http协议连接es使用的端口；（外部与es通讯的端口） 官方：https://artifacts.elastic.co/downloads/elasticsearch/ 首先下载安装包，这里不再赘述 1.解压进入/data1/elasticsearch/elasticsearch-6.5.1/confi...
ES系列之Logstash实战入门
lonelymanontheway的博客
02-29 1488
概述：原理、安装、目录；配置：logstash.yml、jvm.options、pipelines.yml；组件：input、filter、output；实战：采集Nginx日志、增量抽取表数据、加密敏感配置；进阶：条件语法、插件管理、codec、自定义插件；
淘东电商项目（45） -Docker下Kibana与Logstash的ES集群配置（一次填完所有的坑）
阿甘兄
04-03 768
引言 本文代码已提交至Github，有兴趣的同学可以下载来看看：https://github.com/ylw-github/taodong-shop 阅读本文前，为了保证思维的连贯性，可以先阅读之前的博客： 《淘东电商项目（38） -Docker下安装ES&Kibana（一次填完所有的坑）》 《淘东电商项目（40） -Docker下安装Logstash（一次填完所有的坑）》 《淘东电...
如何使用Logstash进行切片日志并在设置kafka集群接口
yz2322944912的博客
02-27 1101
1、由tcp 的8888端口将日志发送到logstash2、数据被grok进行正则匹配处理3、处理后，数据将被打印到终端并存储到esinput {tcp {filter {grok {output {stdout {​4、自定义日志2数据链路1、由tcp 的8888端口将日志发送到logstash2、数据被grok进行正则匹配处理3、处理后，数据将被打印到终端input {tcp {filter {grok {output {stdout {​。
ELK日志分析介绍
besmarterbestronger的博客
05-09 816
文章目录1. 前言2. 什么是ELK3. ELK各组件简介4. 总结5. 参考文献 1. 前言 2. 什么是ELK 3. ELK各组件简介 4. 总结 5. 参考文献
ELK日志分析工具实战
shiqiang002的博客
08-16 389
理论 1，什么是日志分析工具，有什么作用 elk日志分析 工具是logstash，elasticsearch，kibana开元软件集合，是对日志管理的方案，对任何来源，任何格式进行日志搜索，分析与可视化展示 2，ELK日志分析解析 2.1，logstash解析 这个组件是对体制进行手机，过滤，格式处理，格式化输出将其存储，供之后搜索。 collect：数据输入 enrich：数据加工， transport：数据输出 shipper：日志收集者，负责监控本地日志文件的变化，以及爸日志文件的最次你内容手机 in
ES8生产实践——ES索引策略配置与写入优化
qq_33816243的博客
08-17 1538
数据流是es7.9新推出的功能，它是索引、模板、rollover、ilm 基于时序性数据的综合产物。在es8中，凡是日志（logs）、事件（events）、指标（metrics）和其他持续生成的数据，都强烈推荐创建数据流类型的索引。
elk流量分析平台搭建步骤
09-08
搭建ELK（Elasticsearch, Logstash, Kibana）流量分析平台的步骤如下： 步骤1：安装Elasticsearch - 下载并安装Elasticsearch，根据操作系统的不同，安装过程可能会有所不同。 - 配置Elasticsearch的相关参数，如...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值