elasticsearch入门(四)之ELK日志的收集

1.写在前面

前面的博客我已经简单的介绍elasticsearch的环境的安装，elasticsearch的一些常用API，今天我们来介绍下ELK的日志的收集，主要是用FileBeat进行日志的收集，然后用logstash进行日志的处理，最后导入elasticsearch，然后通过elasticsearch生成对应的图，完成对应的数据的可视化。

2.数据的来源

由于我们需要做日志的收集，但是我们现在是写博客，所以不可能从线上搞一个项目来给我讲日志的收集，所以我们需要模拟线上日志的收集，这个时候就需要我们来写一个简简单单的项目，主要是用来生成一些简单的日志，我们先来看pom文件，具体的代码如下：

<?xml version="1.0" encoding="UTF-8"?>

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.1.0.RELEASE</version>
        <relativePath/>
    </parent>

    <groupId>com.ys</groupId>
    <artifactId>ELKlog</artifactId>
    <version>1.0-SNAPSHOT</version>

    <name>ELKlog</name>

    <properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <maven.compiler.source>1.8</maven.compiler.source>
        <maven.compiler.target>1.8</maven.compiler.target>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter</artifactId>
            <exclusions>
                <exclusion>
                    <groupId>ch.qos.logback</groupId>
                    <artifactId>logback-classic</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>org.apache.commons</groupId>
            <artifactId>commons-lang3</artifactId>
            <version>3.3.2</version>
        </dependency>
        <dependency>
            <groupId>joda-time</groupId>
            <artifactId>joda-time</artifactId>
            <version>2.9.9</version>
        </dependency>
        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-log4j12</artifactId>
            <version>1.7.26</version>
        </dependency>
    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.7.0</version>
                <configuration>
                    <source>1.8</source>
                    <target>1.8</target>
                </configuration>
            </plugin>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
                <configuration>
                    <mainClass>com.ys.elasticstack.ElasticStackApplication</mainClass>
                </configuration>
                <executions>
                    <execution>
                        <goals>
                            <goal>repackage</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>
</project>

然后看我们的日志的配置文件，具体的文件如下：

log4j.rootLogger=DEBUG,A1,A2

log4j.appender.A1=org.apache.log4j.ConsoleAppender
log4j.appender.A1.layout=org.apache.log4j.PatternLayout
log4j.appender.A1.layout.ConversionPattern=[%p] %-d{yyyy-MM-dd HH:mm:ss} [%c] - %m%n

log4j.appender.A2 = org.apache.log4j.DailyRollingFileAppender
log4j.appender.A2.File = /king/logs/app.log
log4j.appender.A2.Append = true
log4j.appender.A2.Threshold = INFO
log4j.appender.A2.layout = org.apache.log4j.PatternLayout
log4j.appender.A2.layout.ConversionPattern =[%p] %-d{yyyy-MM-dd HH:mm:ss} [%c] - %m%n

然后看我们的主运行的类，具体的如下：

package com.ys.elasticstack;

import org.apache.commons.lang3.RandomUtils;
import org.joda.time.DateTime;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.boot.autoconfigure.SpringBootApplication;

import java.util.Random;
import java.util.UUID;

@SpringBootApplication
public class ElasticStackApplication {
    private static final Logger LOGGER = LoggerFactory.getLogger(ElasticStackApplication.class);
    public static final String[] VISIT = new String[]{"浏览页面", "评论商品", "加入收藏", "加入购物车", "提交订单", "使用优惠券", "领取优惠券", "搜索", "查看订单"};

    public ElasticStackApplication() {
    }

    public static void main(String[] args) {
        while (true) {
            try {
                Thread.sleep(1000L);
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
            String userId = UUID.randomUUID().toString().substring(0, 10);
            String visit = VISIT[(new Random()).nextInt(VISIT.length)];
            DateTime now = new DateTime();
            int maxHour = now.getHourOfDay();
            int maxMillis = now.getMinuteOfHour();
            int maxSeconds = now.getSecondOfMinute();
            String date = now.plusHours(-RandomUtils.nextInt(0, maxHour)).plusMinutes(-RandomUtils.nextInt(0, maxMillis)).plusSeconds(-RandomUtils.nextInt(0, maxSeconds)).toString("yyyy-MM-dd HH:mm:ss");
            String result = "king," + userId + "," + visit + "," + date;
            LOGGER.info(result);
        }
    }
}

就是简单的模拟数据的来源，然后我们将这个项目打包上传到我们的服务器上去。

3.日志的收集

3.1安装filebeat

1. 先下载filebeat，下载地址：https://www.elastic.co/cn/downloads/past-releases/filebeat-7-3-2，我这儿用的是7.3.2

2. 上传到Linux的/opt目录下，然后解压tar -zxvf filebeat-7.3.2-linux-x86_64.tar.gz

3. 删除原来的tar包，具体的命令 rm -rf filebeat-7.3.2-linux-x86_64.tar.gz

4. 修改所属权，具体的命令 chown -R king:king filebeat-7.3.2-linux-x86_64/

5. 修改对应的配置文件，filebeat.yml，具体的如下：

   filebeat.inputs:
   # 收集的类型
   - type: log
     # 是否开启
     enabled: false
     # 收集的地址
     paths:
       - /var/log/*.log
       
   # 输出到elasticsearch    
   output.elasticsearch:
     # 输出的地址
     hosts: ["localhost:9200"]
   
   # 输出到logstash    
   output.logstash:
     # 输出的地址
     hosts: ["localhost:9200"]
     
   # 输出到console    
   output.console:
     # 格式化
     pretty: true
     #是否开启
     enable: true
   
   filebeat.inputs:
     # 添加自定义tag，便于后续的处理
     tags: ["web"]
     # 添加自定义字段
     fields:
     	from: king
     # true为添加到根节点，false为添加到子节点中
     fields_under_root: true
   

   我这儿是创建了一个新的配置文件，取名为：app.yml,具体的如下：

   

   filebeat.inputs:
   - type: log
     enabled: true
     paths:
       - /king/logs/*.log
   
   output.console:
     pretty: true
     enable: true
   

6. 然后先运行我们刚刚上传的jar，具体的命令：java -jar ELKlog-1.0-SNAPSHOT.jar

   

7. 运行filebeat，执行的命令：./filebeat -e -c app.yml -e输出到标准输出，默认输出到syslog和logs下，-c指定配置文件，执行的结果如下：

   

至此我们第一步的filebeat就搞定了。

3.2安装logstash

1. 下载logstash7.3.2，下载地址：https://www.elastic.co/cn/downloads/past-releases/logstash-7-3-2

2. 上传到Linux的/opt目录下，然后解压tar -zxvf logstash-7.3.2.tar.gz

3. 删除原来的tar包，具体的命令 rm -rf logstash-7.3.2.tar.gz

4. 修改所属权，具体的命令 chown -R king:king logstash-7.3.2/

5. 修改对应的配置文件,先修改jvm.options,修改的内容如下：

   

6. 新建一个app.conf用来存储对应的配置文件

   input {
   	beats {
   		port => "5044"
   	}
   }
   
   filter {
   	mutate {
   		split => {
   			"message" => ","
   		}
   	}
   	mutate {
   		add_field => {
   			"log" => "%{[message][0]}"
   			"userId" => "%{[message][1]}"
   			"visit" => "%{[message][2]}"
   			"date" => "%{[message][3]}"
   		}
   	}
   	mutate {
   		convert => {
   			"log" => "string"
   			"userId" => "integer"
   			"visit" => "string"
   			"date" => "string"
   		}
   	}
   }
   
   #输出到elasticsearch
   output {
   	elasticsearch {
   		hosts => ["192.168.181.6：9200"]
   	}
   }
   
   #输出到控制台
   output {
   	stdout {
   		codec => rubydebug
   	}
   }
   

7. 启动logstash,启动的命令：./logstash -f 配置文件名，启动的如下图：

   

8. 这个时候需要把我们的filebeat的配置的文件给改了，具体的如下：

   filebeat.inputs:
   - type: log
     enabled: true
     paths:
       - /king/logs/*.log
   
   output.logstash:
     hosts: ["192.168.181.6:5044"]
   

   

9. 启动filebeat，启动的命令./filebeat -e -c app.yml

10. 启动数据源，具体的如下：

    

3.3三者整合

前面都改完了，这个时候只需要修改下我们的logstash的配置文件，让采集的数据录入elasticsearch即可，具体的配置文件就只要将原来的配置文件项中的output项改掉即可，然后启动按照原来的顺序启动我们的项目就可以了，具体的如下：

可以发现我们的数据的已经导入到elasticsearch中去了，这个时候我们再来一个数据可视化。

4.数据可视化

这个时候我们需要在我们的kibana中创建我们的图，俗称数据可视化，首先打开我们的kibana，具体的操作步骤如下：

然后输入我们要生成图的索引，具体的如下：

然后点击下一步，具体的如下：

然后选点对应的模式，然后创建索引。

这个时候我们的索引模式就创建好了，然后创建我们的图，具体的如下：

然后创建我们的饼图，具体的如下：

然后配置成这样，具体的如下：

然后运行，具体的如下：

5.写在最后

这样我们的数据的采集，分析生成饼图，就完成了，这篇博客也结束了。