1.写在前面
前面的博客我已经简单的介绍elasticsearch的环境的安装,elasticsearch的一些常用API,今天我们来介绍下ELK的日志的收集,主要是用FileBeat进行日志的收集,然后用logstash进行日志的处理,最后导入elasticsearch,然后通过elasticsearch生成对应的图,完成对应的数据的可视化。
2.数据的来源
由于我们需要做日志的收集,但是我们现在是写博客,所以不可能从线上搞一个项目来给我讲日志的收集,所以我们需要模拟线上日志的收集,这个时候就需要我们来写一个简简单单的项目,主要是用来生成一些简单的日志,我们先来看pom文件,具体的代码如下:
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<parent>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-parent</artifactId>
<version>2.1.0.RELEASE</version>
<relativePath/>
</parent>
<groupId>com.ys</groupId>
<artifactId>ELKlog</artifactId>
<version>1.0-SNAPSHOT</version>
<name>ELKlog</name>
<properties>
<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
<maven.compiler.source>1.8</maven.compiler.source>
<maven.compiler.target>1.8</maven.compiler.target>
</properties>
<dependencies>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter</artifactId>
<exclusions>
<exclusion>
<groupId>ch.qos.logback</groupId>
<artifactId>logback-classic</artifactId>
</exclusion>
</exclusions>
</dependency>
<dependency>
<groupId>org.apache.commons</groupId>
<artifactId>commons-lang3</artifactId>
<version>3.3.2</version>
</dependency>
<dependency>
<groupId>joda-time</groupId>
<artifactId>joda-time</artifactId>
<version>2.9.9</version>
</dependency>
<dependency>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-log4j12</artifactId>
<version>1.7.26</version>
</dependency>
</dependencies>
<build>
<plugins>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-compiler-plugin</artifactId>
<version>3.7.0</version>
<configuration>
<source>1.8</source>
<target>1.8</target>
</configuration>
</plugin>
<plugin>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-maven-plugin</artifactId>
<configuration>
<mainClass>com.ys.elasticstack.ElasticStackApplication</mainClass>
</configuration>
<executions>
<execution>
<goals>
<goal>repackage</goal>
</goals>
</execution>
</executions>
</plugin>
</plugins>
</build>
</project>
然后看我们的日志的配置文件,具体的文件如下:
log4j.rootLogger=DEBUG,A1,A2
log4j.appender.A1=org.apache.log4j.ConsoleAppender
log4j.appender.A1.layout=org.apache.log4j.PatternLayout
log4j.appender.A1.layout.ConversionPattern=[%p] %-d{yyyy-MM-dd HH:mm:ss} [%c] - %m%n
log4j.appender.A2 = org.apache.log4j.DailyRollingFileAppender
log4j.appender.A2.File = /king/logs/app.log
log4j.appender.A2.Append = true
log4j.appender.A2.Threshold = INFO
log4j.appender.A2.layout = org.apache.log4j.PatternLayout
log4j.appender.A2.layout.ConversionPattern =[%p] %-d{yyyy-MM-dd HH:mm:ss} [%c] - %m%n
然后看我们的主运行的类,具体的如下:
package com.ys.elasticstack;
import org.apache.commons.lang3.RandomUtils;
import org.joda.time.DateTime;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import java.util.Random;
import java.util.UUID;
@SpringBootApplication
public class ElasticStackApplication {
private static final Logger LOGGER = LoggerFactory.getLogger(ElasticStackApplication.class);
public static final String[] VISIT = new String[]{"浏览页面", "评论商品", "加入收藏", "加入购物车", "提交订单", "使用优惠券", "领取优惠券", "搜索", "查看订单"};
public ElasticStackApplication() {
}
public static void main(String[] args) {
while (true) {
try {
Thread.sleep(1000L);
} catch (InterruptedException e) {
e.printStackTrace();
}
String userId = UUID.randomUUID().toString().substring(0, 10);
String visit = VISIT[(new Random()).nextInt(VISIT.length)];
DateTime now = new DateTime();
int maxHour = now.getHourOfDay();
int maxMillis = now.getMinuteOfHour();
int maxSeconds = now.getSecondOfMinute();
String date = now.plusHours(-RandomUtils.nextInt(0, maxHour)).plusMinutes(-RandomUtils.nextInt(0, maxMillis)).plusSeconds(-RandomUtils.nextInt(0, maxSeconds)).toString("yyyy-MM-dd HH:mm:ss");
String result = "king," + userId + "," + visit + "," + date;
LOGGER.info(result);
}
}
}
就是简单的模拟数据的来源,然后我们将这个项目打包上传到我们的服务器上去。
3.日志的收集
3.1安装filebeat
-
先下载filebeat,下载地址:https://www.elastic.co/cn/downloads/past-releases/filebeat-7-3-2,我这儿用的是7.3.2
-
上传到Linux的/opt目录下,然后解压
tar -zxvf filebeat-7.3.2-linux-x86_64.tar.gz
-
删除原来的tar包,具体的命令
rm -rf filebeat-7.3.2-linux-x86_64.tar.gz
-
修改所属权,具体的命令
chown -R king:king filebeat-7.3.2-linux-x86_64/
-
修改对应的配置文件,
filebeat.yml
,具体的如下:filebeat.inputs: # 收集的类型 - type: log # 是否开启 enabled: false # 收集的地址 paths: - /var/log/*.log # 输出到elasticsearch output.elasticsearch: # 输出的地址 hosts: ["localhost:9200"] # 输出到logstash output.logstash: # 输出的地址 hosts: ["localhost:9200"] # 输出到console output.console: # 格式化 pretty: true #是否开启 enable: true filebeat.inputs: # 添加自定义tag,便于后续的处理 tags: ["web"] # 添加自定义字段 fields: from: king # true为添加到根节点,false为添加到子节点中 fields_under_root: true
我这儿是创建了一个新的配置文件,取名为:
app.yml
,具体的如下:filebeat.inputs: - type: log enabled: true paths: - /king/logs/*.log output.console: pretty: true enable: true
-
然后先运行我们刚刚上传的jar,具体的命令:
java -jar ELKlog-1.0-SNAPSHOT.jar
-
运行filebeat,执行的命令:
./filebeat -e -c app.yml
-e输出到标准输出,默认输出到syslog和logs下,-c指定配置文件,执行的结果如下:
至此我们第一步的filebeat
就搞定了。
3.2安装logstash
-
下载logstash7.3.2,下载地址:https://www.elastic.co/cn/downloads/past-releases/logstash-7-3-2
-
上传到Linux的/opt目录下,然后解压
tar -zxvf logstash-7.3.2.tar.gz
-
删除原来的tar包,具体的命令
rm -rf logstash-7.3.2.tar.gz
-
修改所属权,具体的命令
chown -R king:king logstash-7.3.2/
-
修改对应的配置文件,先修改
jvm.options
,修改的内容如下: -
新建一个app.conf用来存储对应的配置文件
input { beats { port => "5044" } } filter { mutate { split => { "message" => "," } } mutate { add_field => { "log" => "%{[message][0]}" "userId" => "%{[message][1]}" "visit" => "%{[message][2]}" "date" => "%{[message][3]}" } } mutate { convert => { "log" => "string" "userId" => "integer" "visit" => "string" "date" => "string" } } } #输出到elasticsearch output { elasticsearch { hosts => ["192.168.181.6:9200"] } } #输出到控制台 output { stdout { codec => rubydebug } }
-
启动logstash,启动的命令:./logstash -f 配置文件名,启动的如下图:
-
这个时候需要把我们的filebeat的配置的文件给改了,具体的如下:
filebeat.inputs: - type: log enabled: true paths: - /king/logs/*.log output.logstash: hosts: ["192.168.181.6:5044"]
-
启动filebeat,启动的命令
./filebeat -e -c app.yml
-
启动数据源,具体的如下:
3.3三者整合
前面都改完了,这个时候只需要修改下我们的logstash的配置文件,让采集的数据录入elasticsearch即可,具体的配置文件就只要将原来的配置文件项中的output项改掉即可,然后启动按照原来的顺序启动我们的项目就可以了,具体的如下:
可以发现我们的数据的已经导入到elasticsearch中去了,这个时候我们再来一个数据可视化。
4.数据可视化
这个时候我们需要在我们的kibana中创建我们的图,俗称数据可视化,首先打开我们的kibana,具体的操作步骤如下:
然后输入我们要生成图的索引,具体的如下:
然后点击下一步,具体的如下:
然后选点对应的模式,然后创建索引。
这个时候我们的索引模式就创建好了,然后创建我们的图,具体的如下:
然后创建我们的饼图,具体的如下:
然后配置成这样,具体的如下:
然后运行,具体的如下:
5.写在最后
这样我们的数据的采集,分析生成饼图,就完成了,这篇博客也结束了。