ELK(7.6.1)下载安装与springboot整合ELK

一、ELK简介
1.Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等，可以用于全文检索、结构化检索和分析，并能将这三者结合起来。

2.Logstash是一个完全开源的工具，他可以对你的日志进行收集、过滤，并将其存储供以后使用。Logstash 简单来说就是一根具备实时数据传输能力的管道，负责将数据信息从管道的输入端传输到管道的输出端，与此同时这根管道还可以让你根据自己的需求在中间加上滤网。

3.Kibana 也是一个开源和免费的工具，它Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面（可视化），可以帮助用户汇总、分析和搜索重要数据日志。

二、下载安装
1.elasticsearch（7.6.1）
（1）下载地址https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.6.1-windows-x86_64.zip
（2）下载完成解压即可
（3）启动
双击bin文件下的elasticsearch.bat，等待命令框执行完毕，然后在浏览器中输入 http://localhost:9200 ，出现如下界面即可

2.kibana（7.6.1）
（1）下载地址
https://artifacts.elastic.co/downloads/kibana/kibana-7.6.1-windows-x86_64.zip
（2）下载完成解压即可
（3）启动
双击bin文件下的 kibana.bat，等待命令框执行完毕，然后在浏览器中输入 http://localhost:5601 ，出现如下界面即可

3.logstash（7.6.1）
（1）下载地址
https://artifacts.elastic.co/downloads/logstash/logstash-7.6.1.zip
（2）下载完成后解压，然后在bin目录下新建 logstash.conf 文件（以下是示例配置，验证是否安装成功，与springboot整合配置请继续往下看），配置如下：

 input {
 file {
    path => ["E:/ELK/localhost_access_log.*.txt"]    #这是日志存储地址，可以自己配置
    start_position => "beginning"
 }
}

filter {
  date {
     match => [ "timestamp" , "YYYY-MM-dd HH:mm:ss" ]
  }
}

 output {
   elasticsearch {
      hosts => ["127.0.0.1:9200"]
   }
   stdout {
      codec => rubydebug
   }
}

（3）启动
进入bin文件目录命令框，输入 logstash -f logstash.conf ，等待命令框执行完毕，出现 Successfully started Logstash API endpoint {:port=>9600} 字样代表安装成功

三、springboot整合 ELK
1.修改 logstash.conf 为：

input {
    tcp {  
        host => "localhost"       
        port => 9601                #和 logback.xml中<destination>localhost:9601</destination>保持一致
        mode => "server"         #模式选择为server
        tags => ["tags"]  

##格式json  
    codec => json_lines         
}  

 } 

output {
elasticsearch {
    hosts => "127.0.0.1:9200"
    index => "applog"      #applog是一个名字，随便取
}
stdout { codec => rubydebug}
}

2.在springboot项目中resources文件下新建 logback.xml 文件，配置如下：

<?xml version="1.0" encoding="UTF-8"?>
<!--该日志将日志级别不同的log信息保存到不同的文件中 -->
<configuration>
<appender name="LOGSTASH"
          class="net.logstash.logback.appender.LogstashTcpSocketAppender">
    <destination>localhost:9601</destination>
    <!-- encoder必须配置,有多种可选 -->
    <encoder charset="UTF-8"
             class="net.logstash.logback.encoder.LogstashEncoder" >
        <!-- "appname":"zhaopin" 的作用是指定创建索引的名字时用，并且在生成的文档中会多了这个字段  -->
        <customFields>{"appname":"zhaopin"}</customFields>
    </encoder>
</appender>

<!-- ch.qos.logback.core.ConsoleAppender 表示控制台输出 -->
<appender name="stdout" class="ch.qos.logback.core.ConsoleAppender">
    <!--
    日志输出格式：
		%d表示日期时间，
		%thread表示线程名，
		%-5level：级别从左显示5个字符宽度
		%logger{50} 表示logger名字最长50个字符，否则按照句点分割。
		%msg：日志消息，
		%n是换行符
    -->
    <layout class="ch.qos.logback.classic.PatternLayout">
        <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} ----> [%thread] ---> %-5level %logger{50} - %msg%n</pattern>
    </layout>
</appender>

<!--
	logger主要用于存放日志对象，也可以定义日志类型、级别
	name：表示匹配的logger类型前缀，也就是包的前半部分
	level：要记录的日志级别，包括 TRACE < DEBUG < INFO < WARN < ERROR
	additivity：作用在于children-logger是否使用 rootLogger配置的appender进行输出，
	false：表示只用当前logger的appender-ref，true：
	表示当前logger的appender-ref和rootLogger的appender-ref都有效
-->
<!-- hibernate logger -->
<logger name="com.shawwang" level="debug" />
<!-- Spring framework logger -->
<logger name="org.springframework" level="debug" additivity="false"></logger>

<root level="INFO">
    <appender-ref ref="stdout" />
    <appender-ref ref="LOGSTASH" />
</root>

3.在pom.xml中添加依赖

	<dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter</artifactId>
        <exclusions>
            <exclusion>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-starter-logging</artifactId>
            </exclusion>
        </exclusions>
    </dependency>
    <dependency>
        <groupId>ch.qos.logback</groupId>
        <artifactId>logback-classic</artifactId>
    </dependency>
    <dependency>
        <groupId>net.logstash.logback</groupId>
        <artifactId>logstash-logback-encoder</artifactId>
        <version>4.10</version>
    </dependency>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-test</artifactId>
        <scope>test</scope>
    </dependency>

4.测试
（1）新建controller文件

import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;

@RestController
@RequestMapping(value = "/test")
public class LogTestController {

Logger logger = LoggerFactory.getLogger(LogTestController.class);

@GetMapping("/test")
public String test(){
    logger.info("你好啊e");
    return "server被调用了！:" ;
}
}

（2）新建启动文件

import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;

@SpringBootApplication
public class ElkApplication  {

public static void main(String[] args) {
    SpringApplication.run(ElkApplication.class, args);
}

}

（3）依次启动 elasticsearch、logstash、kibana
（4）运行启动文件
（5）浏览器输入 localhost:5601

1.运行测试用例后回到kibana界面，Management --> Index Patterns，填入Logstash配置中index的值，此处为applog ,记得要加*哦

2.第二步 此处选择"@timestamp"

3.回到Discover