Docker中java logback 项目 向 EFK 写入日志

最新推荐文章于 2024-08-01 04:27:58 发布
最新推荐文章于 2024-08-01 04:27:58 发布
阅读量4.1k 收藏 1
点赞数 1
分类专栏： 日志管理 文章标签： Kibana elasticsearch logback EFK java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gsying1474/article/details/52971163
版权
本文详细介绍了如何在Docker环境中，通过改进的FluentLogbackAppender解决Java项目向EFK（Elasticsearch、Fluentd、Kibana）输出日志时遇到的问题，如容器区分困难、日志msg字段被分词等。通过部署EFK套件，打包定制的日志插件，并在项目中引用，实现了完整且方便的日志查看和搜索功能。
摘要由CSDN通过智能技术生成

继续上篇文章java logback 向 EFK 写入日志， 此篇文章主要讲述在docker环境下EFK与logback的整合，主要解决java项目在docker环境下，向EFK输出日志的问题：

  1. 上篇文章中的方法虽然可以向EFK写入日志，但是在集群环境中，无法区分容器，除非自己在日志的msg中写入相关信息，然而往往会被分词器分开，这点比较麻烦
  2. 虽然上篇文章中的logback-more-appenders可以使用DataFluentAppender方式来向elasticsearch添加额外的fields，但是这里也同时存在一个问题，就是msg中的部分信息，会被拆分成多个field，导致msg信息不再完整，以及从kibana上面查看日志非常不便

下面来一起看看我是如何解决的（部分内容跟上篇文章同）

部署一套EFK

详情参考部署文档CentOS7 安装EFK（elasticsearch、fluent、kibana）进行Docker下日志搜集

打包日志插件（此处有不同）

源码地址：fluentd-logback-appender（此插件是我基于logback-more-appenders源码进行的改进，使得在使用FluentLogbackAppender类的时候，也可以添加额外的fields）

关于此插件的打包，这里不多做说明，相应jar包可以在刘迎光的nexus中找到，搜索“fluentd-logback-appender”即可

项目引用

pom.xml文件添加依赖


                

        

        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  LightingLYG
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          









                



	

		

			

				
					
java logback 向 EFK 写入日志

				
			

			

				

					The magic of fingertips
				

				

					10-30
					
					3776
					
				

			

		

		

			
				
此篇文章主要讲述EFK与logback的整合，主要解决docker的log_driver的日志输出的问题：

首先，处理错误栈信息的时候，docker会将错误栈分解成多行，而使用此插件，则可以将错误栈完整的保存在elasticsearch的一条记录中
docker内部的服务可以不用写日志文件了（或者有限循环），如果服务还活着，那么日志一定会被写入到elasticsearch

			
		

	



                

              
                



	

		

			

				
					
elk-java-logback:一个示例展示了我们如何在 docker 容器中运行 ELK 堆栈并使用 Java 应用程序登录到它

				
			

			

				

					06-07
				

			

		

		

			
				
elk-java-logback
 这是一个示例，展示了如何使用 docker 容器从 Java 应用程序登录到 ELK 堆栈。
 要运行此示例： 
 cd docker/
./build.sh
./run.sh
注意：确保编辑 run.sh，以便将正确的目录安装到容器中。
 要运行 Java 应用程序： 
 cd app/
gradle run
看kibana： http://docker-ip:9292 docker http://docker-ip:9292
 查看 elasticache 中的条目： http://docker-ip:9200/_search?pretty

			
		

	



                


  
              

                


	

		

			

				
					
docker容器Java jar的日志

					
最新发布

				
			

			

				

					weixin_28772667的博客
				

				

					08-01
					
					68
					
				

			

		

		

			
				
给大家整理了一些有关【日志,Docker】的项目学习资料（附讲解～～）：https://edu.51cto.com/course/30138.htmlhttps://edu.51cto.com/course/12919.html使用 Docker 容器记录 Java JAR 的日志
在现代应用开发中，使用 Docker...

			
		

	





	

		

			

				
					
EFK中Fliebeat获取java日志及其他日志配置文件

				
			

			

				

					weixin_44656934的博客
				

				

					02-08
					
					1015
					
				

			

		

		

			
				
[root@node2 filebeat]#grep "^\s*[^# \t].*$" /etc/filebeat/filebeat.yml
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/long_text_2021-12-13-14-59-09.txt
  fields_under_root: true
- type: log
  enabled: true
  paths:
    - /var/log/mess

			
		

	



		

			
		



	

		

			

				
					
java项目打镜像_使用Dockerfile将一个SpringCloud项目打成Docker镜像

				
			

			

				

					weixin_28917223的博客
				

				

					02-26
					
					330
					
				

			

		

		

			
				
我们以在Docker容器中运行一个SpringCloud项目为例，事先准备好一个SpringCloud的Eureka Server的一个简单实例，就是一个Eureka简单的服务端代码，并打成jar 包，上传到服务器(目录随意)，我这里上传到/opt，然后在/opt下创建一个文件夹/static_web_test: mkdir static_web_test,再进入此文件夹：cd static_we...

			
		

	





	

		

			

				
					
SpringBoot应用基于docker和EFK的日志处理

				
			

			

				

					QiHY的专栏
				

				

					10-10
					
					7728
					
				

			

		

		

			
				
1.概述在分布式集群环境下，单个节点的日志内容往往都是存放在自己的节点上，这种独立分散的日志存储方式会有很多问题。我们需要一个统一的日志处理中心，对日志进行收集和集中存储，并进行查看和分析。The Twelve-Factor App中有关于日志处理的建议。相应的处理技术现在也很成熟，通常会采用Elastic Search + Logstash + Kibana的技术栈（ELK）。在这篇文章中我们会采

			
		

	





	

		

			

				
					
logback-fluentd-appender:Logback流利的Appender

				
			

			

				

					05-16
				

			

		

		

			
				
Logback流利的追加器
是附加程序。 您可以使用logback附加程序登录到Fluentd。
追加者
依赖于 。
 在运行记录器之前，请先安装fluentd。
正在安装
###从Maven2存储库安装jar配置pom.xml： 
 <dependencies>
  <dependency>
    <groupId>com.sndyuk</groupId>
    <artifactId>logback-fluentd-appender</artifactId>
    <version>1.1.0</version>
  </dependency>
</dependencies>
<repositories>
  <repository>
    <id>com.sndyuk</id>
    <name>Logback more appenders</name>
    <url>

			
		

	





	

		

			

				
					
Docker部署JAVA项目

				
			

			

				

					qq_38676353的博客
				

				

					01-06
					
					2756
					
				

			

		

		

			
				
使用docker部署JAVA项目

			
		

	





	

		

			

				
					
通过Docker部署Java项目的日志输出到宿主机指定目录

				
			

			

				

					javamaxiaojing的博客
				

				

					12-17
					
					9716
					
				

			

		

		

			
				
用上篇博客部署Java程序是ok的，不过Java日志打印在容器里，不能满足原来ELK的日志搜集。

方法有2种：

1、在Docker容器内部加入日志收集工具，Filebeat或Logstash。

2、将打Docker内的日志打印到宿主机的目录。

本文用的第二种，下面再慢慢说思路，开始叻

先看项目不迷糊



1、首先 Dockerfile 里的ENTRYPOINT配置Java日志输出无果


# 基础镜像使用Java
FROM java:8
LABEL name=shop-client-prod..

			
		

	





	

		

			

				
					
elk或efk日志报警elastalert-docker安装-仅邮件

				
			

			

				

					06-29
				

			

		

		

			
				
elk或efk日志报警elastalert-docker安装-仅邮件

			
		

	





	

		

			

				
					
springBoot项目docker容器部署线上，使用logback日志输出汉字乱码，展示？问号

				
			

			

				

					qq_41190713的博客
				

				

					12-22
					
					1863
					
				

			

		

		

			
				
最近上线到服务器上项目，打印的日志汉字都乱码我这里说下改的几种方式，还有最后我解决我的问题的方式；

			
		

	





	

		

			

				
					
elasticsearch 慢日志收集，采用fluent

				
			

			

				

					mark's technic world
				

				

					06-22
					
					1115
					
				

			

		

		

			
				
收集配置在es data节点上：apiVersion: apps/v1
kind: StatefulSet
metadata:
  labels:
    app: elasticsearch
    chart: elasticsearch-0.4.9
    component: data
    heritage: Tiller
    release: es
  name: es-elas...

			
		

	





	

		

			

				
					
Spring-Boot (三) 默认日志logback配置

				
			

			

				

					t0m的专栏
				

				

					11-10
					
					5614
					
				

			

		

		

			
				
Spring-Boot官方开发指导文档



SpringBoot默认采用了logback日志系统，也支持Log4j2、JDK (Java Util Logging)、SLF4J、Commons Logging等。下面说一下logback日志系统在SpringBoot中的配置。



如果日志需求简单，可以直接在application.properties中配置logback日志属性，否则可...

			
		

	





	

		

			

				
					
spring boot 自定义logback日志配置文件

					
热门推荐

				
			

			

				

					打不死的小强
				

				

					04-28
					
					2万+
					
				

			

		

		

			
				
spring boot默认使用logback做为日志框架，如果你想使用其他日志系统，可以在application.properties使用org.springframework.boot.logging.LoggingSystem 来切换日志系统框架或者直接把value设置为none来禁止日志系统框架这里我们用spring boot默认的Logback日志框架，要使用自定义配置，只要定好xml文件，

			
		

	





	

		

			

				
					
springboot中的日志框架

				
			

			

				

					阳阳的博客
				

				

					03-14
					
					1478
					
				

			

		

		

			
				
日志框架
在项目的开发中，日志是必不可少的一个记录事件的组件，所以也会相应的在项目中实现和构建我们所需要的日志框架。
而市面上常见的日志框架有很多，比如：JCL、SLF4J、Jboss-logging、jUL、log4j、log4j2、logback等等，我们该如何选择呢？
通常情况下，日志是由一个抽象层+实现层的组合来搭建的。

而SpringBoot机智的选择了SLF4J+Logback的组合...

			
		

	





	

		

			

				
					
记Spring boot 2.x logback在配置与应用分离的情况下读取application.yml环境变量出现的问题及解决

				
			

			

				

					南熏门前一只喵
				

				

					08-19
					
					2012
					
				

			

		

		

			
				
Spring boot支持已自定义的方式设置日志。详见官网自定义设置日志小节
由于spring对日志对象的初始化先于application context创建之前，所以我们不能以 @PropertySources 或 @Configuration的方式去实例化日志对象，对日志进行设置。只能通过定义的系统属性。根据Spring官网，其指定了特定命令规范的xml配置文件，用于进行自定义的日志文件配置。...

			
		

	





	

		

			

				
					
Docker+springboot项目logback输出日志与服务器时间相差8小时

				
			

			

				

					郑小白的博客
				

				

					06-21
					
					2713
					
				

			

		

		

			
				
由于项目是部署在docker容器中的，使用的是docker-compose进行的容器编排，所以导致日志输出时间相差8小时的原因有两种：查看宿主机时间与容器内时间

			
		

	





	

		

			

				
					
Docker配置ELK & 本地Logback写入日志

				
			

			

				

					sinat_29051631的博客
				

				

					07-30
					
					478
					
				

			

		

		

			
				
1.下载Docker安装包并安装

2.Docker拉取ELK

   尽可能保持3者版本一致，以免出现不必要的错误


docker pull elasticsearch:7.11.1

docker pull kibana:7.11.1

docker pull logstash:7.11.1

3.分别启动部署镜像文件

# -d : 后台运行
# -p : 指定宿主机与docker启动容器的端口映射
# --name : 为 elasticse...

			
		

	





	

		

			

				
					
docker中部署java项目

				
			

			

				

					09-01
				

			

		

		

			
				
对于在Docker中部署Java项目，可以按照以下步骤进行操作：

1. 创建Dockerfile：在项目根目录下创建一个名为Dockerfile的文件，并在其中定义Docker镜像的构建规则。一个简单的示例如下：

```
FROM openjdk:8
COPY . /usr/src/myapp
WORKDIR /usr/src/myapp
RUN javac Main.java
CMD ["java", "Main"]
```

上述示例使用了基于OpenJDK 8的Java镜像，将项目文件复制到容器中的/usr/src/myapp目录，设置工作目录，并编译并运行Main.java文件。

2. 构建Docker镜像：使用以下命令在项目根目录中构建Docker镜像（假设项目根目录包含Dockerfile）：

```
docker build -t my-java-app .
```

这将基于Dockerfile构建一个名为my-java-app的镜像。

3. 运行Docker容器：使用以下命令在Docker容器中运行刚才构建的镜像：

```
docker run -it my-java-app
```

这将启动一个交互式的终端会话，其中运行了my-java-app镜像中的Java应用程序。

以上步骤提供了一个简单的演示，实际操作中可能需要根据具体项目的需求进行调整。还可以使用更先进的技术，如容器编排工具（如Kubernetes）和自动化部署工具（如Jenkins）来简化和优化Java项目的部署过程。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值