ELK企业级日志分析平台

已于 2023-11-22 21:42:10 修改
阅读量204 收藏 1
点赞数
文章标签： elk
于 2023-11-20 18:54:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_64028800/article/details/134515403
版权

环境

主机

ip

角色

k8s1

192.168.81.10

cerebro

server1

192.168.81.11

elasticsearch

server2

192.168.81.12

elasticsearch

server3

192.168.81.13

elasticsearch

server4

192.168.81.14

logstash

server5

192.168.81.15

kibana

 软件安装

[root@server1 ~]# rpm -ivh elasticsearch-7.6.1-x86_64.rpm

修改配置

[root@server1 ~]# cd /etc/elasticsearch/
[root@server1 elasticsearch]# vim elasticsearch.yml
cluster.name: my-es
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
bootstrap.memory_lock: true
network.host: 0.0.0.0
http.port: 9200
discovery.seed_hosts: ["server1", "server2", "server3"]
cluster.initial_master_nodes: ["server1", "server2", "server3"]

修改系统限制

[root@server1 ~]# vim /etc/security/limits.conf
elasticsearch soft memlock unlimited
elasticsearch hard memlock unlimited
elasticsearch  -  nofile  65535
elasticsearch  -  nproc  4096

修改systemd启动文件

[root@server1 ~]# vim /usr/lib/systemd/system/elasticsearch.service
[service]
...
LimitMEMLOCK=infinity


[root@server1 ~]# systemctl  daemon-reload
[root@server1 ~]# swapoff -a
[root@server1 ~]# vim /etc/fstab
#/dev/mapper/rhel-swap   swap                    swap    defaults        0 0

[root@server1 ~]# systemctl daemon-reload
[root@server1 ~]# systemctl  enable --now  elasticsearch

server1配置好后，直接把配置复制到server2和server3

cerebro部署

cerebro官方：GitHub - lmenezes/cerebro

使用docker启动服务

[root@k8s1 ~]#  docker pull lmenezes/cerebro
[root@k8s1 ~]#  docker run -d --name cerebro -p 9000:9000 lmenezes/cerebro

 

elasticsearch集群角色分类

Master：
        主要负责集群中索引的创建、删除以及数据的Rebalance等操作。 Master不负责数据的索引和检索，所以负载较轻。当Master节点失联或 者挂掉的时候，ES集群会自动从其他Master节点选举出一个Leader。
Data Node：
        主要负责集群中数据的索引和检索，一般压力比较大。
Coordinating Node：
        原来的Client node，主要功能是来分发请求和合并结果的。所有节点默认就是Coordinating node，且不能关闭该属性。
Ingest Node：
        专门对索引的文档做预处理。 
[root@server1 ~]# systemctl  stop elasticsearch.service
[root@server1 ~]# vim /etc/elasticsearch/elasticsearch.yml
node.master: true
node.data: false
node.ingest: true
node.ml: false
[root@server1 elasticsearch]# systemctl  restart elasticsearch.service

[root@server2 ~]# systemctl  stop elasticsearch.service
[root@server2 ~]# vim /etc/elasticsearch/elasticsearch.yml
node.master: true
node.data: true
node.ingest: false
node.ml: false
[root@server2 ~]# systemctl  restart elasticsearch.service

[root@server3 ~]# systemctl  stop elasticsearch.service
[root@server3 ~]# vim /etc/elasticsearch/elasticsearch.yml
node.master: true
node.data: true
node.ingest: false
node.ml: false
[root@server3 ~]# systemctl  restart elasticsearch.service

elasticsearch节点优化

logstash

部署

[root@server4 ~]# yum install -y jdk-11.0.15_linux-x64_bin.rpm
[root@server4 ~]# yum install -y logstash-7.6.1.rpm

命令方式

标准输入到标准输出

[root@server4 bin]# /usr/share/logstash/bin/logstash -e 'input { stdin { } } output { stdout {} }'

标准输入到文件

[root@server4 conf.d]# vim /etc/logstash/conf.d/file.conf
input {
    stdin { }
}
output {
    file {
        path => "/tmp/logstash.txt"     #输出的文件路径
        codec => line { format => "custom format: %{message}"}    #定制数据格式
}
}
[root@server4 conf.d]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/file.conf
[root@server4 conf.d]# cat /tmp/logstash.txt

elasticsearch-head插件

安装依赖

[root@k8s1 ~]# yum install -y bzip2
[root@k8s1 ~]# tar jxf phantomjs-2.1.1-linux-x86_64.tar.bz2
[root@k8s1 ~]# cd phantomjs-2.1.1-linux-x86_64
[root@k8s1 phantomjs-2.1.1-linux-x86_64]# cp bin/phantomjs /usr/local/bin/
[root@k8s1 ~]# yum install -y fontconfig
[root@k8s1 ~]# phantomjs
phantomjs>

安装插件

[root@k8s1 ~]# rpm -ivh nodejs-9.11.2-1nodesource.x86_64.rpm
[root@k8s1 ~]# yum install -y unzip
[root@k8s1 ~]# unzip elasticsearch-head-master.zip
[root@k8s1 ~]# cd elasticsearch-head-master/
[root@k8s1 elasticsearch-head-master]# npm install  --registry=https://registry.npm.taobao.org

[root@k8s1 elasticsearch-head-master]# vim _site/app.js

启动服务

[root@k8s1 elasticsearch-head-master]# npm  run start &

修改es配置

[root@server1 ~]# vim /etc/elasticsearch/elasticsearch.yml
http.cors.enabled: true
http.cors.allow-origin: "*"

[root@server1 ~]# systemctl  restart elasticsearch.service

创建索引

elasticsearch输出插件

[root@server4 conf.d]# pwd
/etc/logstash/conf.d
[root@server4 conf.d]# vim test.conf
input {
        stdin { }
}

output {
        stdout {}

        elasticsearch {
                hosts => "192.168.81.11:9200"
                index => "logstash-%{+YYYY.MM.dd}"
        }
}

[root@server4 conf.d]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/test.conf

启动成功后录入数据，ctrl+c退出

file输入插件

[root@server4 conf.d]# vim test.conf
input {
        file {
                path => "/var/log/messages"
                start_position => "beginning"
        }
}

output {
        stdout {}

        elasticsearch {
                hosts => "192.168.81.11:9200"
                index => "syslog-%{+YYYY.MM.dd}"
        }

}

[root@server4 conf.d]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/test.conf

.sincedb文件保存文件读取进度，避免数据冗余读取

[root@server4 conf.d]# cd /usr/share/logstash/data/plugins/file
[root@server4 file]# ls -i  /var/log/messages
[root@server4 file]# cat .sincedb_452905a167cf4509fd08acb964fdb20c

sincedb文件一共6个字段

  1. inode编号
  2. 文件系统的主要设备号
  3. 文件系统的次要设备号
  4. 文件中的当前字节偏移量
  5. 最后一个活动时间戳（浮点数）
  6. 与此记录匹配的最后一个已知路径

 删除后重新读取

[root@server4 file]# rm -f .sincedb_452905a167cf4509fd08acb964fdb20c

syslog 插件

logstash伪装成日志服务器

[root@server4 conf.d]# vim syslog.conf
input {
        syslog {}
}

output {
         stdout {}

        elasticsearch {
                hosts => "192.168.81.11:9200"
                index => "syslog-%{+YYYY.MM.dd}"
        }

}

[root@server4 conf.d]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/syslog.conf

配置客户端日志输出

[root@server1 ~]# vim /etc/rsyslog.conf
$ModLoad imudp
$UDPServerRun 514

*.*	 @@192.168.56.14:514

[root@server1 ~]# systemctl  restart rsyslog.service
[root@server1 ~]#  logger server1

多行过滤插件

多行过滤可以把多行日志记录合并为一行事件

从server1拷贝模板文件

[root@server1 elasticsearch]# cd /var/log/elasticsearch
[root@server1 elasticsearch]# scp my-es.log server4:/var/log/

[root@server4 conf.d]# vim test.conf
input {

        file {
                path => "/var/log/my-es.log"
                start_position => "beginning"
                codec => multiline {
                pattern => "^\["
                negate => true
                what => previous
                }
        }

}

output {
        stdout {}

        elasticsearch {
                hosts => "192.168.81.11:9200"
                index => "myeslog-%{+YYYY.MM.dd}"
        }

}

[root@server4 conf.d]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/test.conf

grok过滤

[root@server4 ~]# yum install -y httpd
[root@server4 ~]# systemctl  enablel --now httpd
[root@server4 ~]# echo www.westos.org > /var/www/html/index.html

访问此站点生成日志信息

[root@k8s1 ~]# ab -c1 -n 100 http://192.168.81.14/index.html


[root@server4 conf.d]# vim grok.conf
input {
        file {
                path => "/var/log/httpd/access_log"
                start_position => "beginning"
        }
}

filter {
        grok {
                match => { "message" => "%{HTTPD_COMBINEDLOG}" }
        }
}

output {
        stdout {}

        elasticsearch {
                hosts => "192.168.81.11:9200"
                index => "apachelog-%{+YYYY.MM.dd}"
        }

}

[root@server4 conf.d]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/grok.conf

 

kibana数据可视化

部署

[root@server5 ~]# rpm -ivh kibana-7.6.1-x86_64.rpm

[root@server5 ~]# cd /etc/kibana/
[root@server5 kibana]# vim kibana.yml

server.host: "0.0.0.0"

elasticsearch.hosts: ["http://192.168.81.11:9200"]

i18n.locale: "zh-CN"

[root@server5 kibana]# systemctl  enable --now kibana

访问web页面: http://192.168.81.15:5601

 

定制数据可视化

访问量排行榜

创建dashboard，大屏展示

可以实时监控

在server1上生成证书

[root@server1 ~]# cd /usr/share/elasticsearch/
[root@server1 elasticsearch]# bin/elasticsearch-certutil ca
[root@server1 elasticsearch]# bin/elasticsearch-certutil cert --ca elastic-stack-ca.p12
[root@server1 elasticsearch]# cp elastic-certificates.p12 /etc/elasticsearch
[root@server1 elasticsearch]# cd /etc/elasticsearch/
[root@server1 elasticsearch]# chown elasticsearch elastic-certificates.p12

 

[root@server1 elasticsearch]# vim elasticsearch.yml
...
http.cors.allow-headers: Authorization,X-Requested-With,Content-Length,Content-Type

xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: /etc/elasticsearch/elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: /etc/elasticsearch/elastic-certificates.p12
[root@server1 elasticsearch]# systemctl  restart elasticsearch.service

拷贝证书到其它集群节点

[root@server1 elasticsearch]# scp elastic-certificates.p12 server2:/etc/elasticsearch/
[root@server1 elasticsearch]# scp elastic-certificates.p12 server3:/etc/elasticsearch/

server2、3配置

[root@server2 ~]# chown elasticsearch /etc/elasticsearch/elastic-certificates.p12
[root@server2 ~]# vim /etc/elasticsearch/elasticsearch.yml
...
xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: /etc/elasticsearch/elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: /etc/elasticsearch/elastic-certificates.p12

[root@server2 ~]# systemctl  restart elasticsearch.service

等待所有集群节点重启成功后，设置认证账户密码

[root@server1 elasticsearch]# cd /usr/share/elasticsearch/
[root@server1 elasticsearch]# bin/elasticsearch-setup-passwords interactive

交互式输入密码

ES启用xpack之后，其它服务都需要配置认证

head插件在访问时，需要在url中输入用户和密码

cerebro访问：

[root@k8s1 ~]# docker start cerebro

logstash访问

[root@server4 ~]# vim /etc/logstash/conf.d/grok.conf
input {
        file {
                path => "/var/log/httpd/access_log"
                start_position => "beginning"
        }
}

filter {
        grok {
                match => { "message" => "%{HTTPD_COMBINEDLOG}" }
        }
}

output {
        stdout {}

        elasticsearch {
                hosts => "192.168.81.11:9200"
                index => "apachelog-%{+YYYY.MM.dd}"
                user => "elastic"
                password => "shg12345"
        }

}

查看是否启动成功

[root@server4 conf.d]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/grok.conf

kibana访问

[root@server5 kibana]# vim kibana.yml
...
elasticsearch.username: "kibana"
elasticsearch.password: "shg12345"
[root@server5 kibana]# systemctl  restart kibana.service

首先使用内部检测，然后进入设置模式

选择启动metricbeat的节点，然后根据提示步骤操作

安装软件

[root@server1 ~]# rpm -ivh metricbeat-7.6.1-x86_64.rpm
[root@server1 ~]# cd /etc/metricbeat/modules.d
[root@server1 modules.d]# metricbeat modules enable elasticsearch-xpack
[root@server1 modules.d]# vim elasticsearch-xpack.yml
- module: elasticsearch
  metricsets:
    - ccr
    - cluster_stats
    - enrich
    - index
    - index_recovery
    - index_summary
    - ml_job
    - node_stats
    - shard
  period: 10s
  hosts: ["http://localhost:9200"]
  username: "elastic"
  password: "shg12345"
  xpack.enabled: true


[root@server1 modules.d]# cd ..
[root@server1 metricbeat]# vim metricbeat.yml
...
output.elasticsearch:
  hosts: ["http://192.168.81.11:9200"]
  username: "elastic"
  password: "shg12345"

[root@server1 metricbeat]# systemctl enable --now metricbeat.service

其它节点依次类推

kibana 监控

[root@server5 ~]# rpm -ivh metricbeat-7.6.1-x86_64.rpm
[root@server5 modules.d]# metricbeat modules enable kibana-xpack
[root@server5 ~]# cd /etc/metricbeat/
[root@server5 metricbeat]# vim modules.d/kibana-xpack.yml
- module: kibana
  metricsets:
    - stats
  period: 10s
  hosts: ["192.168.36.139:5601"]
  #basepath: ""
  username: "kibana"
  password: "shg12345"
  xpack.enabled: true


[root@server5 metricbeat]# vim metricbeat.yml
output.elasticsearch:
  # Array of hosts to connect to.
  hosts: ["192.168.81.11:9200"]

  # Protocol - either `http` (default) or `https`.
  #protocol: "https"

  # Authentication credentials - either API key or username/password.
  #api_key: "id:api_key"
  username: "elastic"
  password: "shg12345"

[root@server5 metricbeat]# systemctl enable --now metricbeat.service

禁用内部检测

[root@server5 metricbeat]# vim /etc/kibana/kibana.yml
xpack.monitoring.kibana.collection.enabled: false
[root@server5 metricbeat]# systemctl  restart kibana.service

filebeat日志采集

文档：Elasticsearch module | Filebeat Reference [7.6] | Elastic

[root@server1 ~]# rpm -ivh filebeat-7.6.1-x86_64.rpm
[root@server1 ~]# cd /etc/filebeat/modules.d
[root@server1 modules.d]# filebeat modules enable elasticsearch

[root@server1 modules.d]# vim elasticsearch.yml
- module: elasticsearch
  # Server log
  server:
    enabled: true

    # Set custom paths for the log files. If left empty,
    # Filebeat will choose the paths depending on your OS.
    var.paths:
      - /var/log/elasticsearch/*.log          # Plain text logs
      - /var/log/elasticsearch/*_server.json  # JSON logs

  gc:
    enabled: true
    # Set custom paths for the log files. If left empty,
    # Filebeat will choose the paths depending on your OS.
    var.paths:
      - /var/log/elasticsearch/gc.log.[0-9]*
      - /var/log/elasticsearch/gc.log

  audit:
    enabled: true
    # Set custom paths for the log files. If left empty,
    # Filebeat will choose the paths depending on your OS.
    var.paths:
      - /var/log/elasticsearch/*_access.log  # Plain text logs
      - /var/log/elasticsearch/*_audit.json  # JSON logs

  slowlog:
    enabled: true
    # Set custom paths for the log files. If left empty,
    # Filebeat will choose the paths depending on your OS.
    var.paths:
      - /var/log/elasticsearch/*_index_search_slowlog.log     # Plain text logs
      - /var/log/elasticsearch/*_index_indexing_slowlog.log   # Plain text logs
      - /var/log/elasticsearch/*_index_search_slowlog.json    # JSON logs
      - /var/log/elasticsearch/*_index_indexing_slowlog.json  # JSON logs

  deprecation:
    enabled: true
    # Set custom paths for the log files. If left empty,
    # Filebeat will choose the paths depending on your OS.
    var.paths:
      - /var/log/elasticsearch/*_deprecation.log   # Plain text logs
      - /var/log/elasticsearch/*_deprecation.json  # JSON logs



[root@server1 modules.d]# cd ..
[root@server1 filebeat]# vim filebeat.yml
...
output.elasticsearch:
  hosts: ["http://192.168.56.11:9200"]
  username: "elastic"
  password: "westos"

[root@server1 filebeat]# systemctl  enable --now filebeat.service

其它节点依次类推

Hongx06
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
ELK 企业级日志分析系统
lxiaoyouyouj的博客
03-29 663
** ELK 企业级日志分析系统 ** 技能展示： 了解 ELK 日志分析系统 会安装和配置 Elasticsearch 群集 会安装和配置 Logstash 进行日志收集 会安装和配置 Kibana 进行日志查看 ** 一：ELK平台介绍 1.1：ELK概述 ELK由ElasticSearch、Logstash和Kibana三个开源工具组成： **1：**Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自
ELK企业级日志分析系统
段小宝的博客
07-19 628
目录前言一、ELK 概述1.1 ELK日志分析系统1.2 ELK中日志处理步骤1.3 Elasticsearch概述1.4 LogStash概述1.5 Kibana概述1.6 Filebeat二、部署 ELK日志分析系统 前言 目前企业中面临问题包括日志量太大如何归档、文本搜索太慢、多维度查询等问题。所以企业中都会建立日志服务器，建立集中式日志收集系统，将所有节点上的日志汇总，统一收集，管理，访问。 日志进行集中化管理后，但是相应的大量的日志文件会导致对日志分析困难。今天将介绍使用 ELK 日志分析系统。
ELK企业级日志分析平台（二）
Gong_yz的博客
03-27 794
本节完成kibana数据可视化部署，包括网站访问量、访问排行榜、大屏展示；ES集群监控，包括：metricbeat监控和filebeat日志采集；
ELK企业级日志分析平台（一）
Gong_yz的博客
03-27 1514
首先完成elasticsearch和logstash的部署
ELK企业级日志分析系统资源
05-15
ELK企业级日志分析系统是一种广泛应用于现代企业的日志管理和分析解决方案，它由三个主要组件构成：Elasticsearch、Logstash和Kibana。这三个工具的组合为收集、处理、存储、搜索和可视化大量日志数据提供了强大的...
ELK Stack企业级日志平台日志采集实战视频教程（6.6版本）
06-13
ELK Stack日志系统是目前企业应用最为广泛的一套日志解决方案。ELK分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。后面新增了一个FileBeat，它是...本套课程从零开始打造一个亿级日志收集分析平台。
ELK笔记
怨行客
09-08 179
要搞成这样就需要钱来买服务器。
【Unity精品插件】Easy Save v3.5.16 最新版
09-08
Easy Save：简化 Unity 游戏数据存储与加载 一、Easy Save 简介 Easy Save 是专门为 Unity 开发者设计的一款数据存储和加载工具。它旨在简化数据保存和恢复的过程，使开发者能够专注于游戏的核心逻辑，而不必在数据管理上花费过多的精力。 二、主要特点 （一）多种数据类型支持 支持几乎所有常见的数据类型，包括整数、浮点数、字符串、数组、字典、自定义类等。 例如，可以轻松保存玩家的得分、等级、装备信息以及游戏中的各种配置参数。 （二）简单易用的 API 提供了简洁直观的 API 接口，只需几行代码就能实现数据的保存和加载。 （三）跨平台兼容性 能够在不同的平台上（如 Windows、Mac、Android、iOS 等）保持一致的性能和功能，确保玩家在不同设备上的游戏体验连贯。 （四）加密选项 提供数据加密功能，保障玩家数据的安全性和隐私性。
中南财经政法大学在广东2021-2024各专业最低录取分数及位次表.pdf
09-08
全国各大学在广东省2021~2024年各专业最低录取分数及位次
广西森林（人工和分人工林）30m分辨率.tif
最新发布
09-09
广西森林（人工林和原始森林）.tif 人工林是人为种植的森林，是经过人工干预和管理的，旨在获得经济和生态效益的森林。人工林通常是由一种或几种快速生长的树种组成，种植密度较高，树木生长规律和结构比较均匀。目前，人工林主要用于木材、纸浆和能源木等商业目的。 原始森林是指未受过人类干扰、保持自然生态系统的森林。原始森林具有高度复杂的生态系统，拥有丰富的植物和动物物种，同时还对全球气候具有重要作用。原始森林通常被视为生物多样性的宝库，具有重要的科研和保护价值。 人工林和原始森林在多方面存在差异。人工林是经过人为种植和管理的，树种组成和生长规律比较单一，而原始森林则是自然形成的，具有更高的生物多样性。人工林主要追求经济效益，而原始森林更注重生态系统的保护和科学研究。此外，人工林可以通过种植和砍伐进行经营和利用，而原始森林则需要进行保护和管理以维持其自然状态。
5G中级认证-5G小区搜索.pptx
09-08
5G网络优化
5G中级认证-4G和5G互操作原理及共建共享方案.pptx
09-08
5G网络优化
TicketConcert-main.zip
09-08
TicketConcert-main
接口测试（requests）
09-08
接口测试（requests）
华南农业大学珠江学院在广东2021-2024各专业最低录取分数及位次表.pdf
09-08
全国各大学在广东省2021~2024年各专业最低录取分数及位次
7de54824942a9daca560a527f4840fd6.JPG
09-08
7de54824942a9daca560a527f4840fd6.JPG
1564-基于51单片机的温度报警（上下限，数码管，DS18B20)proteus，原理图、流程图、物料清单、仿真图、源代码
09-08
1564-基于51单片机的温度报警（上下限，数码管，DS18B20)proteus，原理图、流程图、物料清单、仿真图、源代码 资料介绍： 温度报警器 1、通过DS18B20测量当前温度 2、数码管显示温度值 3、设置上下限，温度过限蜂鸣器响 有哪些资料： 1、仿真工程文件 2、源代码工程文件 3、原理图工程文件 4、功能介绍 5、元件清单
西华师范大学在广东2021-2024各专业最低录取分数及位次表.pdf
09-08
全国各大学在广东省2021~2024年各专业最低录取分数及位次
ELK日志分析平台CentOS 6.5上一步步搭建教程
ELK组合作为一个流行的企业级日志管理解决方案，能够有效地收集、处理和可视化各种类型的数据。 一、环境准备 1. 操作系统：文档选择的是CentOS 6.5，一个稳定的Linux发行版，适合企业级服务器部署。 2. JDK版本：...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值