Docker-Compose部署ELK(保姆级教程)
- 部署elk
- 创建目录 和文件
- 配置docker-compose并启动
- 打开kibana
1.创建docker-elk目录 (此目录任意 推荐使用此 否则需要更改compose配置)
sudo mkdir /opt/docker_elk
2.创建logstash配置文件
sudo mkdir /opt/docker_elk/logstash
sudo touch /opt/docker_elk/logstash/logstash.conf
3.配置logstash.conf,其内容如下
input {
tcp {
mode => "server"
host => "0.0.0.0"
port => 4560
codec => json
}
}
output {
elasticsearch {
hosts => "es:9200"
index => "logstash-%{+YYYY.MM.dd}"
}
}
在这里指定了输入的日志的端口是4560,那么下面对外暴露的端口也必须是4560。 此端口为logStash 通信端口 可更改(更改同样修改 compose 配置)
4.创建docker-compose.yml文件
sudo touch /opt/docker_elk/docker-compose.yml
5.配置 docker-compose并启动
sudo cd /opt/docker_elk
sudo vi docker-compose.yml
配置内容如下
version: '3.7'
services:
elasticsearch:
image: elasticsearch:7.6.2
container_name: elasticsearch
privileged: true
user: root
environment:
#设置集群名称为elasticsearch
- cluster.name=elasticsearch
#以单一节点模式启动
- discovery.type=single-node
#设置使用jvm内存大小
- ES_JAVA_OPTS=-Xms512m -Xmx512m
volumes:
- /opt/docker_elk/elasticsearch/plugins:/usr/share/elasticsearch/plugins
- /opt/docker_elk/elasticsearch/data:/usr/share/elasticsearch/data
ports:
- 9200:9200
- 9300:9300
logstash:
image: logstash:7.6.2
container_name: logstash
ports:
- 4560:4560
privileged: true
environment:
- TZ=Asia/Shanghai
volumes:
#挂载logstash的配置文件
- /opt/docker_elk/logstash/logstash.conf:/usr/share/logstash/pipeline/logstash.conf
depends_on:
- elasticsearch
links:
#可以用es这个域名访问elasticsearch服务
- elasticsearch:es
kibana:
image: kibana:7.6.2
container_name: kibana
ports:
- 5601:5601
privileged: true
links:
#可以用es这个域名访问elasticsearch服务
- elasticsearch:es
depends_on:
- elasticsearch
environment:
#设置访问elasticsearch的地址
- elasticsearch.hosts=http://es:9200
这里使用privileged设置为true是赋予这个容器root权限。然后启动
sudo docker-compose up -d
在启动时,如果Elasticsearch启动报错,说/usr/share/elasticsearch/data下的文件无权限,那么需要给宿主机授予读写权限
chmod 777 /opt/docker_elk/elasticsearch/data
在启动时,如果Elasticsearch启动报错,说/usr/share/elasticsearch/data下的文件无权限,那么需要给宿主机授予读写权限
chmod 777 /opt/docker_elk/elasticsearch/data
6.打开kibana
输入http://xxx.xxx.x.xxx:5601,访问Kibana web界面。点击左侧设置,进入Management界面
7.收集日志
新建一个springboot的项目,需要导入web的依赖
<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId></dependency>
除此之外,需要导入logstash的依赖:
<!--集成logstash--><dependency> <groupId>net.logstash.logback</groupId> <artifactId>logstash-logback-encoder</artifactId> <version>6.6</version></dependency>
logback是SpringBoot自带的日志,只要导入了web的依赖即可使用。
1)在测试包下新建一个测试类和测试方法
import org.apache.logging.log4j.LogManager;
import org.apache.logging.log4j.Logger;
import org.junit.jupiter.api.Test;
import org.springframework.boot.test.context.SpringBootTest;
@SpringBootTest
public class AppTest {
//创建日志对象
Logger logger = LogManager.getLogger(this.getClass());
@Test
public void test1() {
logger.info("logback的日志信息过来了");
logger.error("logback的错误信息过来了");
}
}
2)在需要目录新建logback-spring.xml
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE configuration>
<configuration>
<include resource="org/springframework/boot/logging/logback/defaults.xml"/>
<include resource="org/springframework/boot/logging/logback/console-appender.xml"/>
<!--应用名称-->
<property name="APP_NAME" value="springboot-logback-elk-demo"/>
<!--日志文件保存路径-->
<property name="LOG_FILE_PATH" value="${LOG_FILE:-${LOG_PATH:-${LOG_TEMP:-${java.io.tmpdir:-/tmp}}}/logs}"/>
<contextName>${APP_NAME}</contextName>
<!--每天记录日志到文件appender-->
<appender name="FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
<rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
<fileNamePattern>${LOG_FILE_PATH}/${APP_NAME}-%d{yyyy-MM-dd}.log</fileNamePattern>
<maxHistory>30</maxHistory>
</rollingPolicy>
<encoder>
<pattern>${FILE_LOG_PATTERN}</pattern>
</encoder>
</appender>
<!--输出到logstash的appender-->
<appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
<!--可以访问的logstash日志收集端口-->
<destination>xxx.xxx.xx.xxx:4560</destination>
<encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder"/>
</appender>
<root level="INFO">
<appender-ref ref="CONSOLE"/>
<appender-ref ref="FILE"/>
<appender-ref ref="LOGSTASH"/>
</root>
</configuration>
3)启动测试方法,然后点击index Patterns后,点击创建索引
4)点击创建索引,
5)创建名称为logstash-的index,此名字是在配置文件logstash.conf中配置的。上述配置的是logstash-%{+YYYY.MM.dd},故这里使用代替日期
6)然后在Next Step(下一步)中选择@timestamp的filter
7)创建完成之后,点击Discover,并选择刚才创建的index
8)查看kibana的日志信息
到此已完成配置
8.使用log4j2记录日志
1)排除logback并导入依赖
<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter</artifactId> <exclusions> <!-- 引入log4j日志时需去掉默认的logback --> <exclusion> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-logging</artifactId> </exclusion> </exclusions></dependency><!-- 日志管理log4j2 --><dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-log4j2</artifactId> <version>2.1.0.RELEASE</version></dependency>
2)在资源目录下新建log4j2.xml
<?xml version="1.0" encoding="UTF-8"?>
<configuration status="info">
<Properties>
<!-- 声明日志文件存储的目录 -->
<Property name="LOG_HOME">E:\logs</Property>
<Property name="LOG_PATTERN"
value="%date{yyyy-MM-dd HH:mm:ss.SSS} %-5level [%thread][%class{36}:%line] - %msg%n"></Property>
</Properties>
<Appenders>
<!--输出控制台的配置-->
<Console name="Console" target="SYSTEM_OUT">
<!--控制台只输出level及以上级别的信息(onMatch),其他的直接拒绝(onMismatch)-->
<ThresholdFilter level="info" onMatch="ACCEPT" onMismatch="DENY"/>
<!-- 输出日志的格式-->
<PatternLayout pattern="${LOG_PATTERN}"/>
</Console>
<!--这输出日志到文件的配置,每次大小超过size,则这size大小的日志会自动存入按年份-月份建立的文件夹下面并进行压缩,作为存档-->
<RollingFile name="RollingFile" fileName="${LOG_HOME}\app_${date:yyyy-MM-dd}.log"
filePattern="${LOG_HOME}\${date:yyyy-MM}\app_%d{yyyy-MM-dd}_%i.log">
<ThresholdFilter level="info" onMatch="ACCEPT" onMismatch="DENY"/>
<!-- 输出日志的格式-->
<PatternLayout pattern="${LOG_PATTERN}"/>
<!-- 日志文件大小 -->
<SizeBasedTriggeringPolicy size="20MB"/>
<!-- 最多保留文件数 -->
<DefaultRolloverStrategy max="30"/>
</RollingFile>
<!--输出到logstash的appender-->
<Socket name="Socket" host="xxx.xxx.xx.xxx" port="4560" protocol="TCP">
<!--输出到logstash的日志格式-->
<PatternLayout pattern="${LOG_PATTERN}"/>
</Socket>
</Appenders>
<!--然后定义Logger,只有定义了Logger并引入的Appender,Appender才会生效。Root中level配置了日志级别,可配置其他级别-->
<Loggers>
<Root level="info">
<AppenderRef ref="Console"/>
<AppenderRef ref="RollingFile"/>
<AppenderRef ref="Socket"/>
</Root>
</Loggers>
</configuration>
logstash 指定host 与配置文件相同
9.功能提升
9.1 汉化Kibana
在使用Kibana界面时,发现都是英文的,实际上是可以配置中文版。方法如下:
1)进入容器内部
sudo docker exec -it kibana bash
2)打开配置文件
vi /opt/kibana/config/kibana.yml
3)在配置文件最后添加一行,设置语言是中文
i18n.locale: zh-CN
需要注意的是,zhe-CN和:号之间必须有个空格,否则kibana无法启动。
9.2 自定义日志过滤
对应logstash,默认是格式是使用的logback的默认格式,一旦使用log4j2或其他日志框架来指定日志的输出格式时,那么logstash便无法解析,需要进行自定义过滤。
上述章节使用log4j2配置的输出格式进行日志收集时,定义的格式:
它把所有的信息都记录在message上了如下图:
但实际上并吧需要这么多的信息,只需具体的信息,因此需要手动对日志格式过滤。
日志过滤
1)修改日志输出的格式。紧接着时间的后面的一个参数必须使用中括号包裹,否则解析有问题
将log4j2.xml的日志输出格式修改如下:
<Property name="LOG_PATTERN"
value="%date{yyyy-MM-dd HH:mm:ss.SSS} [%-5level] [%thread][%class{36}:%line] - %msg%n"></Property>
2)在logstash.conf中添加过滤规则:
filter {
grok {
match => {
message => "%{DATA:datetime}\ \[%{DATA:level}\]\ \[%{DATA:class}\] - %{GREEDYDATA:logger}"
remove_field =>[ "message" ]
}
}
date {
match => ["datetime", "yyyy-MM-dd HH:mm:ss.SSS"]
}
if "_grokparsefailure" in [tags] {
drop {}
}
}
其中grok是根据正则来匹配日志的,data是指定上面时间的格式,if是用于将解析失败的信息删除。
grok的正则语法在次略,其可以在kibana界面进行验证。打开在dev Tools,选择Grok Debugger,输入数据和规则点击模拟进行验证和解析
3)重启logstash后,再打印日志,把日志推送到过去,在kibana中筛选level和logger进行查看(logger是具体的信息,在配置grok时指定的),看到信息已正常解析
安装插件multiline
运行时会发生异常,把异常的错误信息通过日志推送到logstash
但在kibana中却看不到详细的信息
主要原因是错误信息换行输出的,对于上述配置的logstash会解析失败,故不会显示,因此需要安装插件multiline将多行合并为一行输出。
2)安装multiline
进入logstash容器内部,查看是否已安装multiline
logstash-plugin list
若没有安装过,则进行安装
logstash-plugin install logstash-filter-multiline
安装完成后在logstash.conf中的filter配置
multiline {
pattern => "^\d{4}-\d{1,2}-\d{1,2}\s\d{1,2}:\d{1,2}:\d{1,2}"
negate => true
what => "previous"
}
配置后重启logstash,再次执行方法,会发现错误日志已正常记录
需要注意的是,必须先安装multiline才能重启logstash,否则只配置logstash.conf会导致logstash无法启动。