ELK实战

最新推荐文章于 2024-06-13 11:42:37 发布
最新推荐文章于 2024-06-13 11:42:37 发布
阅读量1.6k 收藏 7
点赞数 1
分类专栏： ELK 文章标签： ELK ELK搭建 ELK实战
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/beyond_qjm/article/details/81943187
版权

           架构说明：https://blog.csdn.net/beyond_qjm/article/details/81941820

 

一、基本架构

 ELK

二、Filebeat安装

服务器安装根目录
172.17.0.153/opt/filebeat-6.2.3-linux-x86_64
172.17.0.154/opt/filebeat-6.2.3-linux-x86_64
172.17.0.155/opt/filebeat-6.2.3-linux-x86_64
172.17.0.156/opt/filebeat-6.2.3-linux-x86_64

安装教程：https://blog.csdn.net/beyond_qjm/article/details/81944486

整合配置：

filebeat.prospectors:
- type: log
  enabled: true # 开关
  paths: # 日志文件路径，可以用用通配符
    - /logs/access/access*  #访问记录 
    #- c:\programdata\elasticsearch\logs\*  如果是windows服务器，用这个路径
  fields_under_root: true
  multiline: # 日志多行处理，列如java的堆栈信息
      pattern: ^\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3} # 匹配ip
      negate: true
      match: after
  fields: # 自定义属性，用于 Logstash 中
     log_type: access # 日志文件类型
     server_id: 172.17.0.153 # 服务器ip地址
  scan_frequency: 120s #扫描间隔，单位为秒；设置太小会引起filebeat频繁扫描文件，导致cpu占用百分比过高
  tail_files: false #是否是从文件尾部开始监听
  backoff: 30s #文件检查间隔时间
  max_backoff: 60
  tail_files: true
 

- type: log
  enabled: true
  paths:
    - /logs/console/console*  #log日志
  fields_under_root: true
  multiline:
      pattern: ^\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}
      negate: true
      match: after
  fields:
     log_type: console
     server_id: 172.17.0.153
  scan_frequency: 120
  tail_files: false #是否是从文件尾部开始监听
  backoff: 30s #文件检查间隔时间
  max_backoff: 60
  tail_files: true


output.logstash: # 输出到logstash的安装位置，以及监听的端口
  hosts: ["172.17.0.184:9988"]

三、Logstash安装

服务器安装根目录
172.17.0.184/home/elk/logstash-6.2.3/

安装教程：https://blog.csdn.net/beyond_qjm/article/details/81945527

整合配置：

    1. 添加 /home/elk/logstash-6.2.3/bin/config/log4j.cfg

input{
        beats {
                port => "9988"
        }
}

filter{
        grok{
                match => [
                        "message" , "%{TIMESTAMP_ISO8601:time} %{DATA:thread} %{LOGLEVEL:level}  %{JAVACLASS:class} : %{GREEDYDATA:info}",

                        "message" , "%{TIMESTAMP_ISO8601:time} %{DATA:thread} %{LOGLEVEL:level} %{JAVACLASS:class} : %{GREEDYDATA:info}",
                        "message" , "%{URIHOST:visitHost} - - \[%{HTTPDATE:time}\] \"%{CISCO_REASON:method} %{URIPATHPARAM:request} %{SYSLOGPROG:protocol}\" %{NUMBER:responseCode:int} %{NUMBER:responseTime:int}"
                ]
        }

        date { 
                match => [
                        "time", "dd/MMM/yyyy:HH:mm:ss Z",
                        "yyyy-MM-dd HH:mm:ss.SSS",
                        "yyyy-MM-dd HH:mm:ss"
                ]
                target => "@timestamp"
                locale => "cn"
        }

        mutate{
                remove_field => ["@version","_score","_id","program","time","beat","offset","prospector","host","message","tags"]
        }

}


output{
        #file{path=>"/home/elk/out.log"}
        stdout{codec=>rubydebug}

        if [log_type] == "console" and [info] =~ /^\S/ {
                elasticsearch{
                        hosts => ["172.17.0.183:9200"]
                        index => "console-%{+YYYY.MM}"
                        manage_template => true
                        template_name => "console"
                        template_overwrite => true
                        template => "/home/elk/logstash-6.2.3/bin/config/console.json"
                }
        }

        if [log_type] == "access" {
                elasticsearch{
                        hosts => ["172.17.0.183:9200"]
                        index => "access-%{+YYYY.MM}"
                        manage_template => true
                        template_name => "access"
                        template_overwrite => true
                        template => "/home/elk/logstash-6.2.3/bin/config/access.json"
                }
        }
}

 
 

    2. 添加 /home/elk/logstash-6.2.3/bin/config/laccess.json

{
    "template": "access*",
    "settings": {
        "index.number_of_shards": 5,
        "number_of_replicas": 1
    },
    "mappings": {
        "access": {
            "_all": {
                "enabled": false
            },
            "properties": {
                "@timestamp": {
                    "type": "date",
                },
                "server_id": {
                    "type": "string",
                    "index": "not_analyzed"
                },
                "source": {
                    "type": "string",
                    "index": "not_analyzed"
                },
                "visitHost": {
                    "type": "string",
                    "index": "not_analyzed"
                },
                "method": {
                    "type": "string",
                    "index": "not_analyzed"
                },
                "request": {
                    "type": "string",
                    "index": "analyzed"
                },
                "protocol": {
                    "type": "string",
                    "index": "not_analyzed"
                },
                "responseCode": {
                    "type": "integer",
                    "index": "not_analyzed"
                },
                "responseTime": {
                    "type": "integer",
                    "index": "not_analyzed"
                },
                "log_type": {
                    "type": "string",
                    "index": "not_analyzed"
                }
            }
        }
    }
}

    3. 添加 /home/elk/logstash-6.2.3/bin/config/console.json

{
    "template": "console*",
    "settings": {
        "index.number_of_shards": 5,
        "number_of_replicas": 1
    },
    "mappings": {
        "console": {
            "_all": {
                "enabled": false
            },
            "properties": {
                "@timestamp": {
                    "type": "date",
                },
                "server_id": {
                    "type": "string",
                    "index": "not_analyzed"
                },
                "source": {
                    "type": "string",
                    "index": "not_analyzed"
                },
                "thread": {
                    "type": "string",
                    "index": "not_analyzed"
                },
                "level": {
                    "type": "string",
                    "index": "not_analyzed"
                },
                "class": {
                    "type": "string",
                    "index": "not_analyzed"
                },
                "info": {
                    "type": "string",
                    "index": "analyzed"
                },
                "log_type": {
                    "type": "string",
                    "index": "not_analyzed"
                }
            }
        }
    }
}

四、Elasticsearch安装

服务器安装根目录节点类型
172.17.0.181/home/elk/elasticsearch-6.2.3data
172.17.0.182/home/elk/elasticsearch-6.2.3data
172.17.0.183/home/elk/elasticsearch-6.2.3master

安装教程：https://blog.csdn.net/beyond_qjm/article/details/81943552

elasticsearch-head安装配置：https://blog.csdn.net/beyond_qjm/article/details/81947181

五、Kibana安装

服务器安装根目录
172.17.0.183/home/elk/kibana-6.2.3-linux-x86_64

安装教程：https://blog.csdn.net/beyond_qjm/article/details/81946384

整合配置：

    修改 /home/elk/kibana-6.2.3-linux-x86_64/config/kibana.yml 中的  server.host: "172.17.0.183"

六、log日志配置

    1. Spring boot - logback（Spring boot项目）

           （1）配置系统环境

 

           dev、test为测试环境，prod为生产环境

           （2）在resource目录下添加logback-spring.xml 配置文件

                   需要修改属性 APP_NAME 改为当前项目名，用对区别不同系统的日志

 

<?xml version="1.0" encoding="UTF-8"?>
<configuration scan="true" scanPeriod="60 seconds" debug="false">
    <contextName>logback-demo</contextName>

    <!-- 定义日志文件名称,与工程名一致 -->
    <property name="APP_NAME" value="duban-home" />
    <!-- 定义日志的根目录 -->
    <property name="LOG_HOME" value="/logs/console" />

    <!-- 输出到控制台 ConsoleAppender -->
    <appender name="consoleLog" class="ch.qos.logback.core.ConsoleAppender">
        <!-- 展示格式 layout  控制台输出使用 layout ，文件输出使用 encoder -->
        <layout class="ch.qos.logback.classic.PatternLayout">
            <pattern>
                <!--
                    输出格式
                        %d{HH: mm:ss.SSS}——日志输出时间
                        %thread——输出日志的进程名字，这在Web应用以及异步任务处理中很有用
                        %-5level——日志级别，并且使用5个字符靠左对齐
                        %logger{36}——日志输出者的名字
                        %msg——日志消息
                        %n——平台的换行符
                -->
                <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} %thread %-5level %c : %msg%n</pattern>
            </pattern>
        </layout>
    </appender>

    <!-- 输出到文件 RollingFileAppender -->
    <appender name="fileLog" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <!--如果只是想要 Error 级别的日志，那么需要过滤一下，默认是 info 级别的，ThresholdFilter-->
        <!--<filter class="ch.qos.logback.classic.filter.ThresholdFilter">
            <level>Error</level>
        </filter>-->

        <!--日志名称，如果没有File 属性，那么只会使用FileNamePattern的文件路径规则
        如果同时有<File>和<FileNamePattern>，那么当天日志是<File>，明天会自动把今天
        的日志改名为今天的日期。即，<File> 的日志都是当天的。
        -->
        <!--<File>${LOG_HOME}/console_${APP_NAME}.log</File>-->

        <!--滚动策略，按照时间滚动 TimeBasedRollingPolicy-->
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!--文件路径,定义了日志的切分方式——把每一天的日志归档到一个文件中,以防止日志填满整个磁盘空间-->
            <FileNamePattern>${LOG_HOME}/console_${APP_NAME}_%d{yyyy-MM-dd}.log</FileNamePattern>
            <!--只保留最近90天的日志-->
            <maxHistory>90</maxHistory>
            <!--用来指定日志文件的上限大小，那么到了这个值，就会删除旧的日志-->
            <!--<totalSizeCap>1GB</totalSizeCap>-->
        </rollingPolicy>

        <!--日志输出编码格式化-->
        <encoder>
            <charset>UTF-8</charset>
            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} %thread %-5level %c : %msg%n</pattern>
        </encoder>
    </appender>

    <!-- 指定最基础的日志输出级别 appender将会添加到这个loger -->
    <!-- 测试环境+开发环境. 多个使用逗号隔开. -->
    <springProfile name="dev,test">
        <root level="INFO">
            <appender-ref ref="consoleLog"/>
            <appender-ref ref="fileLog"/>
        </root>
    </springProfile>

    <!-- 生产环境 -->
    <springProfile name="prod">
        <root level="INFO">
            <appender-ref ref="fileLog"/>
        </root>
    </springProfile>

</configuration>

         （3）加载logback配置文件

 

2. 整合log4j 

           （1）修改pom.xml文件

                    Springboot项目

<!--删除Spring boot默认使用的日志依赖-->
<dependency>
   <groupId>org.springframework.boot</groupId>
   <artifactId>spring-boot-starter</artifactId>
   <exclusions>
      <exclusion>
         <groupId>org.springframework.boot</groupId>
         <artifactId>spring-boot-starter-logging</artifactId>
      </exclusion>
   </exclusions>
</dependency>
<!-- 加入log4j日志依赖 -->
<dependency>
   <groupId>org.springframework.boot</groupId>
   <artifactId>spring-boot-starter-log4j</artifactId>
   <version>1.3.8.RELEASE</version>
</dependency>

                  非 Springboot项目

<!-- 加入log4j日志依赖 -->
<dependency>
   <groupId>org.slf4j</groupId>
   <artifactId>slf4j-api</artifactId>
   <version>1.7.21</version>
</dependency>
<dependency>
   <groupId>org.slf4j</groupId>
   <artifactId>slf4j-log4j12</artifactId>
   <version>1.7.21</version>
</dependency>
<dependency>
   <groupId>commons-logging</groupId>
   <artifactId>commons-logging</artifactId>
   <version>1.2</version>
</dependency>

           （2）加入log4j.properties

                      将duban-home修改为当前项目名，用对区别不同系统的日志

log4j.rootLogger=info,ServerDailyRollingFile,stdout

 

log4j.appender.ServerDailyRollingFile=org.apache.log4j.DailyRollingFileAppender

log4j.appender.ServerDailyRollingFile.DatePattern='-'yyyy-MM-dd'.log'

log4j.appender.ServerDailyRollingFile.File=/logs/console/console_duban-home

log4j.appender.DAILY_ROLLING_FILE.Append=true

log4j.appender.ServerDailyRollingFile.layout=org.apache.log4j.PatternLayout

log4j.appender.ServerDailyRollingFile.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss.SSS} %t %-5p %c : %m%n

log4j.appender.ServerDailyRollingFile.Append=true

 

log4j.appender.stdout=org.apache.log4j.ConsoleAppender

log4j.appender.stdout.layout=org.apache.log4j.PatternLayout

log4j.appender.stdout.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss.SSS} %t %-5p %c : %m%n

3. Tomcat access访问日志

           Tomcat中默认的情况下，access log是没有设置的。在server.xml文件中配置如下。

<!-- Access log processes all example.  

            Documentation at: /docs/config/valve.html -->  

       <!--  

       <Valve className="org.apache.catalina.valves.AccessLogValve" directory="logs"    

              prefix="localhost_access_log." suffix=".txt" pattern="common" resolveHosts="false"/>  

       -->  

          改为

                    1. prefix中的duban-home为服务器名，用于识别不同的服务器

                    2. pattern为输出格式

<!-- Access log processes all example.  

            Documentation at: /docs/config/valve.html -->  

        

       <Valve className="org.apache.catalina.valves.AccessLogValve" directory="/logs/access/"    

              prefix="access_duban-home_log." suffix=".txt" pattern="%h - - %t &quot;%r&quot; %s %D" resolveHosts="false"/>  

       

                    pattern说明

 

pattern属性值由字符串常量和pattern标识符加上前缀"%"组合而成。pattern标识符加上前缀"%"，用来代替当前请求/响应中的对应的变量值。目前支持如下的pattern：

· %a - 远端IP地址

· %A - 本地IP地址

· %b - 发送的字节数，不包括HTTP头，如果为0，使用"－"

· %B - 发送的字节数，不包括HTTP头

· %h - 远端主机名(如果resolveHost=false，远端的IP地址）

· %H - 请求协议

· %l - 从identd返回的远端逻辑用户名（总是返回 '-'）

· %m - 请求的方法（GET，POST，等）

· %p - 收到请求的本地端口号

· %q - 查询字符串(如果存在，以 '?'开始)

· %r - 请求的第一行，包含了请求的方法和URI

· %s - 响应的状态码

· %S - 用户的session ID

· %t - 日志和时间，使用通常的Log格式

· %u - 认证以后的远端用户（如果存在的话，否则为'-'）

· %U - 请求的URI路径

· %v - 本地服务器的名称

· %D - 处理请求的时间，以毫秒为单位

· %T - 处理请求的时间，以秒为单位

 

七、添加为服务

     将以上应用添加为服务方便管理

     教程：https://blog.csdn.net/beyond_qjm/article/details/81947493

 

 

 

 

 

 

 

 

beyond_qjm
关注
  • 1
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Elk搭建
Ayuser的博客
08-19 52
E：ElasticSearch，存储数据，搜索L：logstash：抓取日志文件，存入esK：kibana：图形化展示数据，数据搜索。
ELK日志系统搭建完整详细步骤
qq_39093474的博客
05-23 979
为什么需要引进这个ELK日志采集系统呢？
ELK搜索高级
1663988740
08-05 2992
ELK搜索高级课程 1． 课程简介 1.1 课程内容 ​ ELK是包含但不限于Elasticsearch（简称es）、Logstash、Kibana 三个开源软件的组成的一个整体，分别取其首字母组成ELK。ELK是用于数据抽取（Logstash）、搜索分析（Elasticsearch）、数据展现（Kibana）的一整套解决方案，所以也称作ELK stack。 ​ 本课程分别对三个组件进行详细介绍，尤其是Elasticsearch，因为它是ELK的核心。Elasticsearch会对底层的文档、索引、搜索、聚
ELK日志平台（elasticsearch+logstash+kibana）搭建
用来当笔记本
12-13 2041
为了实现分布式日志数据统一收集,实现集中式查询和管理 故障排查 安全信息和事件管理本文仅仅简单介绍了ELK的安装，而ELK其他强大的功能需要继续学习。
Spring boot集成log4j及日志配置详解，实战，ELK使用教程。
最新发布
Java码农杂谈
06-13 1494
详细介绍了如何在 SpringBoot 项目中集成 Log4j 以及 Log4j 配置文件的各种配置方法。通过合理地配置日志系统，我们能够更好地进行故障排查、性能监控和安全审计。进一步地，通过日志数据采集和分析工具，我们能够实现对日志数据的深度挖掘，为我们的应用提供了更便捷的数据可视化等支持。
【大数据开发必看】ELK入门及实战
qq_42397330的博客
05-27 1234
ELK 学习笔记 很多人不知道ELK是什么，先说一下ELK指什么，E表示Elasticsearch，L表示Logstash，K表示Kibana 在发展的过程中，又有了Beats的加入，这个时候就不再使用ELK去命名，而是Elastic Stack 先简单介绍一下他们的作用分别是什么，这样我们才能知道为什么要学习这些技术 Elasticsearch：分布式搜索引擎，还有存储数据 Logstash：收集日志，分析和处理日志 Kibana：提供web页面，展示数据分析的结果 Beats：数据采集，它出现之
ELK实战教程.zip
02-26
《ELK实战教程》 ELK（Elasticsearch、Logstash、Kibana）是大数据时代常用的一种日志管理和分析工具栈，它以其强大的实时日志处理能力而闻名。本教程将带你深入理解和掌握ELK的各项功能，通过实战演练，提升你在...
elk线上实战
01-09
本篇文章将详细探讨ELK线上实战中的整体部署架构及其关键组件。 **Elasticsearch** Elasticsearch 是一个基于 Lucene 的分布式全文搜索引擎，它提供了实时、分布式、高可用的搜索和数据分析能力。在ELK栈中，...
详解SpringBoot+Dubbo集成ELK实战
08-25
SpringBoot+Dubbo集成ELK实战 本资源主要介绍了如何使用 SpringBoot 和 Dubbo 集成 ELK（Elastic Stack）来实现日志管理。ELK 是一个开源的日志管理解决方案，包括 Beats、Logstash、Elasticsearch 和 Kibana 四个...
elk搭建、与springboot系统集成
fantoutou1的博客
07-23 872
ELK平台搭建、 与springboot集成
ELK的搭建和使用
YIYIYI
08-11 4232
ELK的搭建和使用
ELK搭建以及使用教程（多pipiline）
weixin_38405770的博客
11-05 1309
ELK搭建
php请求elk接口,接口使用示例 – 搜索请求 - ELK Stack 中文指南
weixin_39630637的博客
03-19 528
上节介绍的，都是针对单条数据的操作。在 ES 环境中，更多的是搜索和聚合请求。在 5.0 之前版本中，数据获取和数据搜索甚至有极大的区别：刚写入的数据，可以通过 translog 立刻获取；但是却要等到 refresh 成为一个 segment 后，才能被搜索到。从 5.0 版本开始，Elasticsearch 稍作了改动，不再维护 doc-id 到 translog offset 的映射关系，一...
PHP慢日志 ELK+FileBeat收集
很长很长的专栏
05-02 3578
本文主要讲述的是php慢日志收集至elasticsearch 收集流程： 本文不提供安装教程 主要配置： Filebeat配置 filebeat 涉及多行配置所以要使用 multiline pattern：正则表达式 negate：true 或 false；默认是false，匹配pattern的行合并到上一行；true，不匹配pattern的行
Spring Cloud集成ELK完成日志收集实战（elasticsearch、logstash、kibana）
zjx2016的博客
02-14 3966
简介 对于日志来说，最常见的需求就是收集、存储、查询、展示，开源社区正好有相对应的开源项目：logstash（收集）、elasticsearch（存储+搜索）、kibana（展示），我们将这三个组合起来的技术称之为ELK，所以说ELK指的是Elasticsearch、Logstash、Kibana技术栈的结合。ELK对外作为一个日志管理系统的开源方案，能够可靠和安全地从任何格式的任何来源获取数据，...
ELK/ELFK(7.3 ) 企业PB级日志系统实战
12-25
Elastic Stack日志系统是目前企业应用广泛的一套日志解决方案。   包含的组件有Filebeat,Logstash,Elastic,Kibana等 本堂课引入Kafka 让Elastic Stack 能适应企业PB级的业务日志量并弥补传统ELk架构的不足   ★学完这门课程会获得什么？   首先从零开始教你部署Elastic Stack系统, 详细讲解Elastic产品,包括 Kibana.Logstash,Beats的详细讲解以及Elastic的api操作， 并如何监控如何绘图等。最后结合自己的运维过程中的案例讲解，让学员能更加清楚了解原理以及少走一些弯路。   目前我们公司每天产生至少8个T的数据量，历史日志保存半年。此教程足以能承担PB级的日志收集系统的量。此教程的背景介绍请参阅我的CSDN博客，置顶内容的第一篇博文。
ELK搭建教程(全过程)
热门推荐
谷神通
11-07 8万+
1.服务器 使用阿里云服务器(方便)，抢占式实例(便宜)，4核16G，系统选择centos7.4/64位(好用)。购买地址：https://ecs-buy.aliyun.com/ 我们只是测试学习使用，把端口权限全开就行(不然外网访问不了)，安全组配置那里添加如下： 2.下载ELK的包： 下载地址：https://www.elastic.co/downloads 下载最新版的、l...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值