搭建ELK日志平台

已于 2022-05-30 15:12:18 修改
阅读量400 收藏
点赞数
分类专栏： Linux 文章标签： java elk
于 2022-05-30 14:59:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/YMZ8848/article/details/125046047
版权

日志平台计划搭建scrm测试环境和线上环境两套，通过Logstash做中间转接
本文采用项目集成logback的方式作为logstash的输入，同时还可以采用filebeat的方式

安装ElasticSearch

#拉取镜像
docker pull elasticsearch:7.7.0

#启动镜像
docker run --name elasticsearch -d -e ES_JAVA_OPTS="-Xms512m -Xmx512m" -e "discovery.type=single-node" -p 9200:9200 -p 9300:9300 elasticsearch:7.7.0

安装kibana

docker pull kibana:7.5.1

# 在目录创建文件
root@xiaoxinpro13:/usr/local/kibana/conf# ls
kibana.yml
root@xiaoxinpro13:/usr/local/kibana/conf# pwd
/usr/local/kibana/conf
root@xiaoxinpro13:/usr/local/kibana/conf# 


# 文件内容
#
# ** THIS IS AN AUTO-GENERATED FILE **
#

# Default Kibana configuration for docker target
server.name: kibana
server.host: "0"
elasticsearch.hosts: [ "http://192.168.31.190:9200" ]
xpack.monitoring.ui.container.elasticsearch.enabled: true

启动容器

docker run -d \
  --name=kibana \
  --restart=always \
  -p 5601:5601 \
  -v /usr/local/kibana/conf/kibana.yml:/usr/share/kibana/config/kibana.yml \
  kibana:7.5.1

项目集成方式

项目引入依赖

 <dependency>
            <groupId>net.logstash.logback</groupId>
            <artifactId>logstash-logback-encoder</artifactId>
            <version>5.3</version>
        </dependency>

配置logback

可以通过 springProfile name="test"来区分不同环境对应的日志输出

 <appender name="LOGSTASH_TEST" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
        <destination>172.16.6.xxx:9600</destination>
        <!-- 日志输出编码 -->
        <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder">
            <!--            调用fields 中appname字段变量的值为索引。-->
            <customFields>{"appname":"scrm-log-web"}</customFields>
            <providers>
                <timestamp>
                    <timeZone>UTC</timeZone>
                </timestamp>
                <pattern>
                    <pattern>
                        {
                        "severity": "%level",
                        "service": "${springAppName:-}",
                        "port": "${serverPort:-}",
                        "trace": "%X{X-B3-TraceId:-}",
                        "span": "%X{X-B3-SpanId:-}",
                        "exportable": "%X{X-Span-Export:-}",
                        "pid": "${PID:-}",
                        "thread": "%thread",
                        "class": "%logger{40}",
                        "rest": "%message"
                        }
                    </pattern>
                </pattern>
            </providers>
        </encoder>
    </appender>


 <root level="info">
        <springProfile name="test">
            <appender-ref ref="LOGSTASH_TEST"/>
        </springProfile>
    </root>

配置的连接地址为logstash的服务端口
安装logstash

下载完之后，直接解压即可

[root@izbp14j2amyqhhh99qufi7z logstash-7.7.0]# pwd
/usr/local/logstash-7.7.0
[root@izbp14j2amyqhhh99qufi7z logstash-7.7.0]#

logstash配置文件
去到/usr/local/logstash-7.7.0/config路径新建配置文件scrm-test-log.conf如下

[root@izbp14j2amyqhhh99qufi7z logstash-7.7.0]# cd config/
[root@izbp14j2amyqhhh99qufi7z config]# pwd
/usr/local/logstash-7.7.0/config
[root@izbp14j2amyqhhh99qufi7z config]# ls
jvm.options  log4j2.properties  logstash-sample.conf  logstash.yml  pipelines.yml  scrm-test-log.conf  startup.options
[root@izbp14j2amyqhhh99qufi7z config]#

scrm-test-log.conf配置文件

input {
  tcp {
    port => 9600
    codec => json_lines
  }
}

output {
  elasticsearch {
    hosts => ["http://172.16.6.xxx:9200","http://172.16.6.xxx:9200"]
    index => ["%{[appname]}-%{+YYYY-MM-dd}"]   
  }
   stdout {
    codec => rubydebug            # 输出到命令窗口
   } 
}

去到路径/usr/local/logstash-7.7.0/bin

[root@izbp14j2amyqhhh99qufi7z bin]# pwd
/usr/local/logstash-7.7.0/bin
[root@izbp14j2amyqhhh99qufi7z bin]# ls
benchmark.sh         ingest-convert.sh  logstash-keystore      logstash.log         pqcheck   setup.bat
cpdump               logstash           logstash-keystore.bat  logstash-plugin      pqrepair  system-install
dependencies-report  logstash.bat       logstash.lib.sh        logstash-plugin.bat  ruby
[root@izbp14j2amyqhhh99qufi7z bin]#

启动logstash

直接启动便于测试
./logstash -f /usr/local/logstash-7.7.0/config/scrm-test-log.conf
以后台方式启动
nohup ./logstash -f /usr/local/logstash-7.7.0/config/scrm-test-log.conf > ./logstash.log &

Filebeat的方式

安装logstash方式如上
同时在需要监听日志的服务上安装filebeat

[root@izbp1eyzqud3anqii8dh2tz ~]# cd /usr/local/filebeat
[root@izbp1eyzqud3anqii8dh2tz filebeat]# ls
fields.yml  filebeat  filebeat.reference.yml  filebeat.yml  kibana  LICENSE.txt  module  modules.d  NOTICE.txt  README.md
[root@izbp1eyzqud3anqii8dh2tz filebeat]# pwd
/usr/local/filebeat
[root@izbp1eyzqud3anqii8dh2tz filebeat]#

配置filebeat.yml

- type: log
  id: my-filestream-id
  enabled: true
  paths:
    - /data/logs/scrm/log_info.log  # 要读取的日志文件
    - /data/logs/scrm/log_error.log
  tags: ["scrm-web-log"]  


output.logstash:
  # The Logstash hosts
  hosts: ["172.16.143.xxx:5044"]
# 注释掉es
# output.elasticsearch:
#   # Array of hosts to connect to.
#   hosts: ["localhost:9200"]




# 后台启动
nohup ./filebeat -e -c filebeat.yml > ./filebeat.log &

配置logstash

input {
  beats {
    port => 5044
  }
}

filter {
  if "scrm-web-log" in [tags][0]{

      grok {
          match => {"message" => "%{TIMESTAMP_ISO8601:time} \s*%{DATA:thread}\s* %{LOGLEVEL:level}\s* %{GREEDYDATA:data}"}
      }
      
      date {
      match => ["timestamp", "dd/MMM/yyyy:HH:mm:ss Z"]
      target => "@timestamp"
      timezone => "Asia/Shanghai"
      }

      mutate {
          add_field => { "target_index" => "scrm-web-log-%{+YYYY.MM.dd}" }
      }


  } else if "scrm-marketing-log" in [tags][0]{

      grok {
          match => {"message" => "%{TIMESTAMP_ISO8601:time} \s*%{DATA:thread}\s* %{LOGLEVEL:level}\s* %{GREEDYDATA:data}"}
      }

      date {
      match => ["timestamp", "dd/MMM/yyyy:HH:mm:ss Z"]
      target => "@timestamp"
      timezone => "Asia/Shanghai"
      }

      mutate {
          remove_field => [ "message", "agent" ,"tags", "input","ecs","@version","host","os","container","log" ]
          add_field => { "target_index" => "scrm-marketing-log-%{+YYYY.MM.dd}" }
      }
  }else if "scrm-sync-log" in [tags][0]{

      grok {
          match => {"message" => "%{TIMESTAMP_ISO8601:time} \s*%{DATA:thread}\s* %{LOGLEVEL:level}\s* %{GREEDYDATA:data}"}
      }

      date {
      match => ["timestamp", "dd/MMM/yyyy:HH:mm:ss Z"]
      target => "@timestamp"
      timezone => "Asia/Shanghai"
      }

      mutate {
          remove_field => [ "message", "agent" ,"tags", "input","ecs","@version","host","os","container","log" ]
          add_field => { "target_index" => "scrm-sync-log-%{+YYYY.MM.dd}" }
      }
  }

}

output {
  elasticsearch {
    hosts => ["http://172.16.6.156:9200"]
    index => "%{[target_index]}"
  }
}

通用grok表达式

grok表达式在线测试网

%{TIMESTAMP_ISO8601:time} \s*%{DATA:thread}\s* %{LOGLEVEL:level}\s* %{GREEDYDATA:data}

配置es模版

由于scrm多个模块的项目日志映射到es同一个索引，同时日志索引是以模块名加日期结尾的，为了便于自动识别日志文件，并保证可以按日期删除索引，遂建立索引模版

去到开发工具窗口建立
在这里插入图片描述
在这里插入图片描述

PUT _template/scrm_test_template_default
{
  "index_patterns":[
    "scrm-log*"
  ],
  "settings":{
    "number_of_replicas":1,
    "refresh_interval":"10s",
    "index.search.slowlog.threshold.query.warn": "10s",
    "index.search.slowlog.threshold.query.info": "5s",
    "index.search.slowlog.threshold.query.debug": "2s",
    "index.search.slowlog.threshold.query.trace": "500ms"
  },
 "mappings" : {
      "properties" : {
        "@timestamp" : {
          "type" : "date"
        },
        "@version" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        },
        "appname" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        },
        "corpid" : {
          "type" : "text"
        },
        "host" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        },
        "id" : {
          "type" : "text"
        },
        "level" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        },
        "level_value" : {
          "type" : "long"
        },
        "logger_name" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        },
        "message" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        },
        "orderNum" : {
          "type" : "text"
        },
        "port" : {
          "type" : "long"
        },
        "thread_name" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        }
      }
    },
  "order":0
}

get  _template/scrm_test_template_default

建立完之后所有前缀为scrm-log的索引都会被模版映射到
在这里插入图片描述

备注：建立完索引模版之后，还需要建立索引模式
索引模式的映射字段可以先通过get对应的索引模式获取

get  xxx 索引

配置删除索引
去到该路径创建scrm-test-index-clear.sh文件

[root@izbp14j2amyqhhh99qufi7z bin]# cd /usr/local/script/es/
[root@izbp14j2amyqhhh99qufi7z es]# ls
scrm-test-index-clear.sh
[root@izbp14j2amyqhhh99qufi7z es]#

给予权限

[root@izbp14j2amyqhhh99qufi7z es]# ll
total 4
-rw-r--rwx 1 root root 599 May 30 11:56 scrm-test-index-clear.sh
[root@izbp14j2amyqhhh99qufi7z es]# chmod +7 scrm-test-index-clear.sh

配置删除索引脚本

#/bin/bash
#es-index-clear
#只保留某几天内的日志索引-5 days || 12 days ago
THIS_DAYS_AGO=`date "+%Y-%m-%d"`
THREE_DAYS_AGO=`date -d "-3 days" "+%Y-%m-%d"`
FIVE_DAYS_AGO=`date -d "-5 days" "+%Y-%m-%d"`

echo "删除索引开始..."

curl -XDELETE "http://172.16.143.235:9200/scrm-log-web-${FIVE_DAYS_AGO}"       \n
curl -XDELETE "http://172.16.143.235:9200/scrm-log-sync-${FIVE_DAYS_AGO}"      \n
curl -XDELETE "http://172.16.143.235:9200/scrm-log-marketing-${FIVE_DAYS_AGO}" \n
curl -XDELETE "http://172.16.143.235:9200/scrm-log-gateway-${FIVE_DAYS_AGO}"   \n

echo "删除索引结束"

备注：可以设置时间为今日的，同时直接执行脚本测试

[root@izbp14j2amyqhhh99qufi7z es]# sh scrm-test-index-clear.sh 
删除索引开始...
{"error":{"root_cause":[{"type":"index_not_found_exception","reason":"no such index [scrm-log-web-2022-05-25]","index_uuid":"_na_","resource.type":"index_or_alias","resource.id":"scrm-log-web-2022-05-25","index":"scrm-log-web-2022-05-25"}],"type":"index_not_found_exception","reason":"no such index [scrm-log-web-2022-05-25]","index_uuid":"_na_","resource.type":"index_or_alias","resource.id":"scrm-log-web-2022-05-25","index":"scrm-log-web-2022-05-25"},"status":404}curl: (6) Could not resolve host: n; Unknown error
{"error":{"root_cause":[{"type":"index_not_found_exception","reason":"no such index [scrm-log-sync-2022-05-25]","index_uuid":"_na_","resource.type":"index_or_alias","resource.id":"scrm-log-sync-2022-05-25","index":"scrm-log-sync-2022-05-25"}],"type":"index_not_found_exception","reason":"no such index [scrm-log-sync-2022-05-25]","index_uuid":"_na_","resource.type":"index_or_alias","resource.id":"scrm-log-sync-2022-05-25","index":"scrm-log-sync-2022-05-25"},"status":404}curl: (6) Could not resolve host: n; Unknown error
{"error":{"root_cause":[{"type":"index_not_found_exception","reason":"no such index [scrm-log-marketing-2022-05-25]","index_uuid":"_na_","resource.type":"index_or_alias","resource.id":"scrm-log-marketing-2022-05-25","index":"scrm-log-marketing-2022-05-25"}],"type":"index_not_found_exception","reason":"no such index [scrm-log-marketing-2022-05-25]","index_uuid":"_na_","resource.type":"index_or_alias","resource.id":"scrm-log-marketing-2022-05-25","index":"scrm-log-marketing-2022-05-25"},"status":404}curl: (6) Could not resolve host: n; Unknown error
{"error":{"root_cause":[{"type":"index_not_found_exception","reason":"no such index [scrm-log-gateway-2022-05-25]","index_uuid":"_na_","resource.type":"index_or_alias","resource.id":"scrm-log-gateway-2022-05-25","index":"scrm-log-gateway-2022-05-25"}],"type":"index_not_found_exception","reason":"no such index [scrm-log-gateway-2022-05-25]","index_uuid":"_na_","resource.type":"index_or_alias","resource.id":"scrm-log-gateway-2022-05-25","index":"scrm-log-gateway-2022-05-25"},"status":404}curl: (6) Could not resolve host: n; Unknown error
删除索引结束
[root@izbp14j2amyqhhh99qufi7z es]#

配置定时任务
注意路径为自己的shell脚本路径

输入命令

[root@izbp14j2amyqhhh99qufi7z es]# crontab -e
crontab: no changes made to crontab
[root@izbp14j2amyqhhh99qufi7z es]#

加入如下内容

0 1 * * * /usr/local/script/es/scrm-test-index-clear.sh

Logstash为日志收集必须掌握知识点
elk四、定时删除elk日志脚本——shell

秧木子
关注
专栏目录
ELK日志平台搭建
在字节里改BUG
12-02 1908
Elasticsearch、Logstash、Kibana 搭建日志平台
ELK日志分析平台搭建全过程
weixin_34327761的博客
11-10 350
2019独角兽企业重金招聘Python工程师标准>>> ...
从零搭建ELK在线日志系统
最新发布
bashenanking的博客
07-16 344
ELK在线日志系统是指使用 Elasticsearch、Logstash 和 Kibana 这三个开源工具构建的一套日志管理和分析系统。ELK是由这三个工具的首字母组合而成的缩写。 ELK在线日志系统能够帮助开发人员和运维人员对大量的日志数据进行实时分析、搜索和可视化展示，以快速定位和解决问题，提高系统的稳定性和性能。
ELk日志平台搭建
2301_76838634的博客
07-11 5500
服务器数量较少时，使用 rsyslog 或者 脚本(scp) 进行收集、分割日志，再统一汇总到专门存放日志的日志服务器保存管理。查看日志可以把需要的日志文件传到windows主机上，使用专业的文本工具打开分析日志。服务器数量较多时，使用 ELK 收集日志、存储日志、展示日志。对于在K8S平台运行的容器日志，可以使用 Loki+Granfana 收集日志、存储日志、展示日志。
ELK 日志监控平台（一）- 快速搭建
AHAO的博客
05-18 5794
ELK（Elasticsearch, Logstash, Kibana）是一个目前主流的开源日志监控平台。Elasticsearch：是一个开源的分布式搜索和分析引擎，可以用于全文检索、结构化检索和分析，它构建在Lucene搜索引擎库之上，是当前使用较为广泛的开源搜索引擎之一。Logstash：一个用于收集、处理和转发日志数据的数据处理管道。
ELK日志平台搭建过程
znmdr的博客
02-07 379
1.架构图 2.环境centos7及安装包2.1安装jdk 解压 重命名 配置环境变量添加 export JAVA_HOME=/root/jdk1.8 export JRE_HOME=${JAVA_HOME}/jre  export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib  exp
Centos7下搭建ELK日志分析系统
11-02
【Centos7下搭建ELK日志分析系统】 ELK栈是日志管理和分析的强大工具，由Elasticsearch、Logstash、Kibana三个组件组成。Elasticsearch是一个分布式的实时搜索和分析引擎，用于存储、分析和检索大量数据。Logstash...
阿里云搭建ELK日志平台
Macky_He的博客
07-20 2234
阿里云搭建ELK日志平台一、说明二、开始搭建2.1 环境与版本2.2 安装filebeat2.3 安装kibana 一、说明     EKL概念在这里就不细说了，直接说安装搭建步骤；本文为作者实际在阿里云服务器上搭建的过程记录。 二、开始搭建 2.1 环境与版本 centos7.5 filebeat 7.2 elasticsearch 7.2 2.2 安装...
使用Docker搭建ELK日志系统的方法示例
09-30
主要介绍了使用Docker搭建ELK日志系统的方法示例，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
搭建ELK日志监控平台资料包
10-27
搭建ELK日志监控平台是一项重要的IT运维任务，它涵盖了三个主要组件：Elasticsearch、Logstash和Kibana，统称为ELK堆栈。这个资料包提供了搭建该平台所需的软件，包括elasticsearch-8.3.3-windows-x86_64.zip...
elk(elasticsearch+logstash+kibana)搭建日志监控平台
who_I_am__的博客
11-05 5226
基于 ELK（Elasticsearch、Logstash、Kibana）技术栈搭建了一个日志监控平台。
ELK日志平台系统搭建
weixin_40444253的博客
03-03 304
ELK日志平台系统搭建
基于ELK搭建网站实时日志监控平台
weixin_40055163的博客
10-25 2518
基于ELK搭建网站实时日志监控平台 1 为什么要用到ELK 早在传统的单体应用时代，查看日志大都通过SSH客户端登服务器去看，使用较多的命令就是 less 或者 tail。如果服务部署了好几台，就要分别登录到这几台机器上看，等到了分布式和微服务架构流行时代，一个从APP或H5发起的请求除了需要登陆服务器去排查日志，往往还会经过MQ和RPC调用远程到了别的主机继续处理，开发人员定位问题可能还需要根据TraceID或者业务唯一主键去跟踪服务的链路日志，基于传统SSH方式登陆主机查看日志的方式就像图中排查线路的工
搭建ELK日志管理平台
王清欢的博客
06-04 4257
0 前期准备 01 安装 JDK 下载 JDK 压缩包 ​ 下载地址：https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html 解压文件 ​ 使用如下命令解压文件到/usr/local/jdk1.8 目录下 sudo mkdir /usr/local/jdk1.8 sudo tar -xzvf jdk-8u152-linux-x64.tar.gz -C /usr/local/jdk1.8 设置环境变量 ​ 使用
ELK日志平台（elasticsearch+logstash+kibana）搭建
用来当笔记本
12-13 2107
为了实现分布式日志数据统一收集,实现集中式查询和管理 故障排查 安全信息和事件管理本文仅仅简单介绍了ELK的安装，而ELK其他强大的功能需要继续学习。
ELK日志处理平台搭建
Technology exist forever
05-04 565
日志处理平台可以分成三个部分： shipper：日志收集 broker：中间件/队列 indexer：日志存储 日志的功能侧重点： 1.快速定位线上log，快速差错， 2.对日志进行数据处理，提取整理日志中的重要数据 3.提取用户请求整个访问流程的日志，便于分析           最开始考虑了几种架构方案elk+kafka或者reids+mongodb，但后来根据实际业务场景考虑了...
如何安装ELK（linux）
weixin_44882388的博客
02-20 208
ELK简介： ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方也推荐此工具。 Elasticsearch是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能...
CentOS7 elk日志平台搭建
运维那些事儿
08-21 1321
第1章 ELK平台介绍 日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。 通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用...
用Sawmill搭建日志平台
weixin_34054866的博客
09-06 164
1.系统简介 Sawmill适用于Unix/Linux和Windows等多种平台，支持900 种日志格式，集中式且跨平台的日志报表管理系统，能集中搜集日志，并产生中文报表(包含体简体及繁体中文)，简约的操作界面让使用者能直觉地透过简单的点击操作，快速分析并定制报表。透过Sawmill 的分析统计具有如下功能: 操作系统：账号的登入与登出、各种服务状态、告警信息的排行列举； FTP 服务...
Docker快速搭建ELK日志分析环境
总体来说，使用Docker搭建ELK日志系统能快速构建一个灵活、可扩展的日志管理平台。通过合理配置Elasticsearch、Kibana和Logstash，可以实现日志的高效收集、分析和可视化，这对于监控系统健康、排查问题和业务分析都...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值