适用人群
- 运维人员
- 熟练操作docker和对elk有基本认识的人(本文不涉及elk部署)
- 由于本文涉及到的知识众多,且并没有加以描述,所以小白慎看
操作步骤
- 部署logstash
- 在springboot项目中引入net.logstash.logback:logstash-logback-encoder包
- 配置logback-spring.xml
部署logstash
笔者使用的是docker-compose部署logstash(docker同理,读者可自行转换)
先创建三个文件
- logstash.conf
- logstash.yml
- docker-compose.yml
配置如下:
# logstash.conf
input {
tcp {
# 笔者启用了多个logstash,所以此处没有使用logstash的默认端口,读者也可按喜好配置
port => 5045
codec => "json_lines"
}
}
output {
elasticsearch {
# hosts => "ip:端口"
hosts => "elk:9200"
# appname在logback中配置,前缀"logstash-logback"读者也可自定配置
index => "logstash-logback-%{[appname]}-%{+YYYY.MM.dd}"
}
}
# logstash.yml
http.host: "0.0.0.0"
xpack.monitoring.elasticsearch.hosts: [ "http://elasticsearch:9200" ]
# 前两行为logstash默认配置,笔者没有改动,仅加了第三行,禁用x-pack的监视功能
xpack.monitoring.enabled: false
# docker-compose.yml
version: '3'
services:
logstash-logback:
image: docker.elastic.co/logstash/logstash:7.2.0
volumes:
- /root/software/docker/elk/logstash/logstash.yml:/usr/share/logstash/config/logstash.yml
- /root/software/docker/elk/logstash/logstash.conf:/usr/share/logstash/pipeline/logstash.conf
restart: always
container_name: logstash-logback
ports:
# 此处的端口号与logstash.conf配置的相同,格式 -> 主机端口:容器端口
- "5045:5045"
networks:
# 由于笔者的elasticsearch也是启动在docker中,为保证可以直接用容器名称访问,则将elasticsearch和logstash放置在一个网桥中
- elk
networks:
# 笔者先network创建了一个名为elk的网桥,在此处配置,使用外部网桥
elk:
external: true
随后启动容器即可
net.logstash.logback:logstash-logback-encoder包
笔者使用的是gradle,使用maven者同理
compile('net.logstash.logback:logstash-logback-encoder:6.1')
配置logback-spring.xml
在resources文件夹下创建logback-spring.xml文件
# logback-spring.xml
<?xml version="1.0" encoding="UTF-8"?>
<configuration><!--debug="true" scan="true" scanPeriod="30 seconds"-->
<springProperty scope="context" name="logPath" source="log.path"/>
<appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
<!-- 此处配置logstash的ip和端口 -->
<destination>ip:5045</destination>
<encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder">
<!-- 此处配置logstash的索引名称,在logstash.conf中配置了使用appname作为索引名称的一部分 -->
<customFields>{"appname":"项目名称"}</customFields>
</encoder>
</appender>
<root level="info">
<appender-ref ref="LOGSTASH"/>
</root>
</configuration>
启动项目,则可在kibana中看到索引