SpringBoot集成elk日志系统（一）

SpringBoot集成elk日志系统（一）

1：下载镜像

docker pull logstash:7.5.1；
docker pull elasticsearch:7.5.1;
Docker pull logstash:7.5.1;

2: 查看镜像

Docker images

3：部署elasticsearch

3.1运行容器

Docker run -d --name es -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" 2bd69c322e98

3.2查看容器
docker ps # 列出正在运行的容器
docker ps -a # 列出所有容器，包括未运行的

3.3明明启动了容器，为什么会自动退出了呢？这里通过查看日志来看看是什么原因。
Docker logs 2bd69c322e98

发现错误Error=Cannot allocate memory
内存不足导致的。所以在启动的时候，调整内存的分配，重新启动。
“ES_JAVA_OPTS=-Xms512m -Xmx512m”

重新启动

Docker run -d -e “ES_JAVA_OPTS=-Xms512m -Xmx512m”--name es -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" 2bd69c322e98

容器启动完成 在浏览器输入 ip + 端口号 访问了

见到上图则部署es成功

4：部署kibanna

4.1 运行kibana容器
docker run --name kibana -e ELASTICSEARCH_URL=http://192.168.7.123:9200 -p 5601:5601 -d kibana:7.5.1
4.2查看运行日志
Docker logs kibana

4.3发现连接不上es
1：进入容器修改kibana.yml配置文件
Docker exec -it kibana /bin/bash

修改elasticsearch.hosts: [ “http://elasticsearch:9200” ]为
elasticsearch.hosts: [ “http://192.168.7.123:9200” ]或者
elasticsearch.hosts: [ “http://127.0.0.1:9200” ]或
elasticsearch.hosts: [ “http://localhost:9200” ]
发现还是连接不上

最后各种百度修改为elasticsearch内部连接地址后成功
查看ipAddress地址为172.17.0.2
docker inspect elasticsearch

进入容器修改kibana.yml文件elasticsearch.hosts: [ “http://elasticsearch:9200” ]为
elasticsearch.hosts: [ “http://172.17.0.2:9200” ]后重启容器

成功

5：部署logstash

1：编辑logstash.yml

配置文件放在宿主机如/docker/logstash/logstash.yml 内容如下

path.config: /usr/share/logstash/conf.d/*.conf
path.logs: /var/log/logstash

2：编辑logstash.conf
.conf文件放在宿主机/docker/logstash/conf.d目录下，内容如下
input {
tcp {
mode => “server”
host => “0.0.0.0”
port => 5044
codec => json_lines
}
}

output {
elasticsearch {hosts => [“172.17.0.2:9200”]}
stdout { codec => rubydebug }
}

3:启动logstash
docker run -d --restart=always --log-driver json-file --log-opt max-size=100m --log-opt max-file=2 -p 5044:5044 --name logstash -v /docker/logstash/logstash.yml:/usr/share/logstash/config/logstash.yml -v /docker/logstash/conf.d/:/usr/share/logstash/conf.d/ logstash:7.5.1

4：发现启动瞬间又退出了
Docker logs logstash
发现报错permission denied
遇到这种情况，是因为映射的文件或者文件夹没有权限导致服务器拒绝了请求
sudo chmod -R 777 某一目录
然后重新启动容器

看到这个页面就部署成功了
后面我电脑关机后重启发现sudo chmod -R 777 某一目录 又不行了
然后百度了一下说可以采用了关闭SElinux功能我就直接用这个命令关闭了
setenforce 0

其他解决方案还有
1：
docker run -d –privileged=true container
运行是增加**–privileged=true**特权参数
2：
添加selinux规则，改变要挂载的目录的安全性文本
在主机中修改/soft目录的安全性文档

6：在SpringBoot项目中配置logback.xml

1：添加依赖

<dependency>
    <groupId>net.logstash.logback</groupId>
    <artifactId>logstash-logback-encoder</artifactId>
    <version>5.3</version>
</dependency>

编写yml文件

<?xml version="1.0" encoding="UTF-8"?>

<configuration scan="true" scanPeriod="60 seconds" debug="true">        
    <contextName>logstash-test</contextName>
       <!-- 这个是控制台日志输出格式 方便调试对比-->  
    <appender name="console" class="ch.qos.logback.core.ConsoleAppender">     
        <encoder>         
            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{50} - %msg%n</pattern>  
        </encoder>
    </appender>
    <appender name="stash" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
          <destination>192.168.7.123:5044</destination> <!--这是是logstash服务器地址 端口--> 
        <encoder class="net.logstash.logback.encoder.LogstashEncoder"/>
    </appender>
    <root level="info">  
        <appender-ref ref="console"/>  
        <appender-ref ref="stash"/>
    </root>
</configuration>

编写测试类打印一条日志后访问kibanal地址添加索引