go语言web开发系列之五:gin用zap+file-rotatelogs实现日志记录及按日期切分日志

已于 2023-06-16 13:24:31 修改
阅读量3.3k 收藏 5
点赞数 3
分类专栏： 用go做web开发 文章标签： go golang web api log4j2
于 2020-12-16 14:50:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43881017/article/details/111269642
版权

一，安装需要用到的库:

1，安装zap日志库:

liuhongdi@ku:/data/liuhongdi/zaplog$ go get -u go.uber.org/zap

2,安装go-file-rotatelogs库

liuhongdi@ku:/data/liuhongdi/zaplog2$ go get -u github.com/lestrrat/go-file-rotatelogs

说明：刘宏缔的go森林是一个专注golang的博客，
 网站：https://blog.imgtouch.com
原文: go语言web开发系列之五:gin用zap+file-rotatelogs实现日志记录及按日期切分日志 – 架构森林

说明：作者:刘宏缔 邮箱: 371125307@qq.com

二，演示项目的相关信息

1,项目地址:

GitHub - liuhongdi/digv05: gin+zap+file-rotatelogs实现日志记录及按日期切分日志

2,项目的功能：集成zap和go-file-rotatelogs实现记录日志和日志切分

3,项目结构：如图:

三，go代码说明：

1,config/config.yaml

Database:
  DBType: mysql
  UserName: root
  Password: password
  Host: 127.0.0.1:3306
  DBName: dig
  Charset: utf8
  ParseTime: True
  MaxIdleConns: 10
  MaxOpenConns: 30
Server:
  RunMode: debug
  HttpPort: 8000
  ReadTimeout: 60
  WriteTimeout: 60
Log:
  LogFilePath: /data/gologs/logs
  LogInfoFileName: info
  LogWarnFileName: warn
  LogFileExt: log

2,global/logger.go

package global

import (
	"github.com/liuhongdi/digv05/pkg/zaplog"
	"go.uber.org/zap"
)

var (
	Logger *zap.SugaredLogger
)

//创建logger
func SetupLogger() (error) {
	var err error
	filepath:= LogSetting.LogFilePath
	infofilename:= LogSetting.LogInfoFileName
	warnfilename:= LogSetting.LogWarnFileName
	fileext:= LogSetting.LogFileExt

	//infofilename,warnfilename,fileext string
    Logger,err = zaplog.GetInitLogger(filepath,infofilename,warnfilename,fileext)

	if err != nil {
		return err
	}
	defer Logger.Sync()
    return nil
}

3，pkg/zaplog/zaplog.go

package zaplog

import (
	rotatelogs "github.com/lestrrat/go-file-rotatelogs"
	"go.uber.org/zap"
	"go.uber.org/zap/zapcore"
	"io"
	"time"
)

//get logger
func GetInitLogger(filepath,infofilename,warnfilename,fileext string) (*zap.SugaredLogger,error) {
	encoder := getEncoder()
	//两个判断日志等级的interface
	//warnlevel以下属于info
	infoLevel := zap.LevelEnablerFunc(func(lvl zapcore.Level) bool {
		return lvl < zapcore.WarnLevel
	})
	//warnlevel及以上属于warn
	warnLevel := zap.LevelEnablerFunc(func(lvl zapcore.Level) bool {
		return lvl >= zapcore.WarnLevel
	})

	infoWriter,err := getLogWriter(filepath+"/"+infofilename,fileext)
	if (err != nil) {
		return nil,err
	}
	warnWriter,err2 := getLogWriter(filepath+"/"+warnfilename,fileext)
	if (err2 != nil) {
		return nil,err2
	}
	//创建具体的Logger
	core := zapcore.NewTee(
		zapcore.NewCore(encoder, infoWriter, infoLevel),
		zapcore.NewCore(encoder, warnWriter, warnLevel),
	)
	loggerres := zap.New(core, zap.AddCaller())
	return loggerres.Sugar(),nil
}
//Encoder
func getEncoder() zapcore.Encoder {
	encoderConfig := zap.NewProductionEncoderConfig()
	//encoderConfig := zap.NewDevelopmentEncoderConfig()
	encoderConfig.EncodeTime = zapcore.ISO8601TimeEncoder
	encoderConfig.EncodeLevel = zapcore.CapitalLevelEncoder
	return zapcore.NewConsoleEncoder(encoderConfig)
}

//LogWriter
func getLogWriter(filePath,fileext string) (zapcore.WriteSyncer,error) {
	warnIoWriter,err := getWriter(filePath,fileext)
	if (err != nil) {
		return nil,err
	}
	return zapcore.AddSync(warnIoWriter),nil
}

//日志文件切割，按天
func getWriter(filename,fileext string) (io.Writer,error) {
	// 保存30天内的日志，每24小时(整点)分割一次日志
		hook, err := rotatelogs.New(
			filename+"_%Y%m%d."+fileext,
			rotatelogs.WithLinkName(filename),
			rotatelogs.WithMaxAge(time.Hour*24*30),
			rotatelogs.WithRotationTime(time.Hour*24),
		)
	/*
	//供测试用，保存30天内的日志，每1分钟(整点)分割一次日志
	hook, err := rotatelogs.New(
		filename+"_%Y%m%d%H%M.log",
		rotatelogs.WithLinkName(filename),
		rotatelogs.WithMaxAge(time.Hour*24*30),
		rotatelogs.WithRotationTime(time.Minute*1),
	)
	*/
	if err != nil {
		//panic(err)
		return nil,err
	}
	return hook,nil
}

4,router/router.go

package router

import (
	"github.com/gin-gonic/gin"
	"github.com/liuhongdi/digv05/controller"
	"github.com/liuhongdi/digv05/global"
	"github.com/liuhongdi/digv05/pkg/result"
	"runtime/debug"
)

func Router() *gin.Engine {
	router := gin.Default()
	//处理异常
	router.NoRoute(HandleNotFound)
	router.NoMethod(HandleNotFound)
	router.Use(Recover)


	// 路径映射
	articlec:=controller.NewArticleController()
	router.GET("/article/getone/:id", articlec.GetOne);
	router.GET("/article/list", articlec.GetList);
	return router
}

//404
func HandleNotFound(c *gin.Context) {
	global.Logger.Errorf("handle not found: %v", c.Request.RequestURI)
	//global.Logger.Errorf("stack: %v",string(debug.Stack()))
	result.NewResult(c).Error(404,"资源未找到")
	return
}

//500
func Recover(c *gin.Context) {
	defer func() {
		if r := recover(); r != nil {
			//打印错误堆栈信息
			//log.Printf("panic: %v\n", r)
			global.Logger.Errorf("panic: %v", r)
			//log stack
			global.Logger.Errorf("stack: %v",string(debug.Stack()))
			//print stack
			debug.PrintStack()
			//return
			result.NewResult(c).Error(500,"服务器内部错误")
		}
	}()
	//继续后续接口调用
	c.Next()
}

5,global/setting.go

package global

import (
	"fmt"
	"github.com/liuhongdi/digv05/pkg/setting"
	"time"
)
//服务器配置
type ServerSettingS struct {
	RunMode      string
	HttpPort     string
	ReadTimeout  time.Duration
	WriteTimeout time.Duration
}
//数据库配置
type DatabaseSettingS struct {
	DBType       string
	UserName     string
	Password     string
	Host         string
	DBName       string
	Charset      string
	ParseTime    bool
	MaxIdleConns int
	MaxOpenConns int
}
//日志配置
type LogSettingS struct {
	LogFilePath     string    //保存到的目录
	LogInfoFileName string    //info级日志文件的名字
	LogWarnFileName string    //warn级日志文件的名字
	LogFileExt      string    //文件的扩展名
}
//定义全局变量
var (
	ServerSetting   *ServerSettingS
	DatabaseSetting *DatabaseSettingS
	LogSetting *LogSettingS
)

//读取配置到全局变量
func SetupSetting() error {
	s, err := setting.NewSetting()
	if err != nil {
		return err
	}
	err = s.ReadSection("Database", &DatabaseSetting)
	if err != nil {
		return err
	}

	err = s.ReadSection("Server", &ServerSetting)
	if err != nil {
		return err
	}

	err = s.ReadSection("Log", &LogSetting)
	if err != nil {
		return err
	}

	fmt.Println("setting:")
	fmt.Println(ServerSetting)
	fmt.Println(DatabaseSetting)
	fmt.Println(LogSetting)
	return nil
}

6,main.go

package main

import (
	"github.com/gin-gonic/gin"
	_ "github.com/jinzhu/gorm/dialects/mysql"
	"github.com/liuhongdi/digv05/global"
	"github.com/liuhongdi/digv05/router"
	"log"
)

//init
func init() {
	//setting
	err := global.SetupSetting()
	if err != nil {
		log.Fatalf("init.setupSetting err: %v", err)
	}

	//logger
	err = global.SetupLogger()
	if err != nil {
		log.Fatalf("init.SetupLogger err: %v", err)
	}

	//db
	err = global.SetupDBLink()
	if err != nil {
		log.Fatalf("init.SetupLogger err: %v", err)
		global.Logger.Fatalf("init.setupDBEngine err: %v", err)
	}

	global.Logger.Infof("------应用init结束")
}

func main() {
	global.Logger.Infof("------应用main函数开始")
	//设置运行模式
	gin.SetMode(global.ServerSetting.RunMode)
	//引入路由
	r := router.Router()
	//run
	r.Run(":"+global.ServerSetting.HttpPort)
}

7,其他相关代码请参见github

四，测试效果

1,查看info级日志:

启用应用后:

root@ku:/data/gologs/logs# more info
2020-12-16T14:37:45.666+0800	INFO	digv05/main.go:32	------应用init结束
2020-12-16T14:37:45.667+0800	INFO	digv05/main.go:36	------应用main函数开始

注意：info文件其实是一个符号链接，指向到当前目录下的/data/gologs/logs/info_20201216.log

root@ku:/data/gologs/logs# ll info
lrwxrwxrwx 1 liuhongdi liuhongdi 35 12月 16 14:37 info -> /data/gologs/logs/info_20201216.log

2，查看错误日志:

访问:

http://127.0.0.1:8000/article/getone/100

引发一次内部错误:我们在代码中故意添加了一个除0操作用来引发异常

页面返回:

查看错误日志:

root@ku:/data/gologs/logs# more warn
2020-12-16T14:45:37.533+0800	ERROR	router/router.go:40	panic: runtime error: integer divide by zero
2020-12-16T14:45:37.533+0800	ERROR	router/router.go:42	stack: goroutine 8 [running]:
runtime/debug.Stack(0xc0000112e8, 0xaf3002, 0xba2225)
	/usr/local/soft/go/src/runtime/debug/stack.go:24 +0x9f
github.com/liuhongdi/digv05/router.Recover.func1(0xc0002d4000)
	/data/liuhongdi/digv05/router/router.go:42 +0xdb
panic(0xaf30a0, 0x100e790)
	/usr/local/soft/go/src/runtime/panic.go:969 +0x1b9
github.com/liuhongdi/digv05/controller.(*ArticleController).GetOne(0x1053de8, 0xc0002d4000)
	/data/liuhongdi/digv05/controller/articleController.go:30 +0x1ff
github.com/gin-gonic/gin.(*Context).Next(0xc0002d4000)
	/home/liuhongdi/go/pkg/mod/github.com/gin-gonic/gin@v1.6.3/context.go:161 +0x3b
github.com/liuhongdi/digv05/router.Recover(0xc0002d4000)
	/data/liuhongdi/digv05/router/router.go:50 +0x4e
github.com/gin-gonic/gin.(*Context).Next(0xc0002d4000)
	/home/liuhongdi/go/pkg/mod/github.com/gin-gonic/gin@v1.6.3/context.go:161 +0x3b
github.com/gin-gonic/gin.RecoveryWithWriter.func1(0xc0002d4000)
	/home/liuhongdi/go/pkg/mod/github.com/gin-gonic/gin@v1.6.3/recovery.go:83 +0x65
github.com/gin-gonic/gin.(*Context).Next(0xc0002d4000)
	/home/liuhongdi/go/pkg/mod/github.com/gin-gonic/gin@v1.6.3/context.go:161 +0x3b
github.com/gin-gonic/gin.LoggerWithConfig.func1(0xc0002d4000)
	/home/liuhongdi/go/pkg/mod/github.com/gin-gonic/gin@v1.6.3/logger.go:241 +0xe5
github.com/gin-gonic/gin.(*Context).Next(0xc0002d4000)
	/home/liuhongdi/go/pkg/mod/github.com/gin-gonic/gin@v1.6.3/context.go:161 +0x3b
github.com/gin-gonic/gin.(*Engine).handleHTTPRequest(0xc0002b8000, 0xc0002d4000)
	/home/liuhongdi/go/pkg/mod/github.com/gin-gonic/gin@v1.6.3/gin.go:409 +0x67a
github.com/gin-gonic/gin.(*Engine).ServeHTTP(0xc0002b8000, 0xc84a20, 0xc0002b61c0, 0xc000398900)
	/home/liuhongdi/go/pkg/mod/github.com/gin-gonic/gin@v1.6.3/gin.go:367 +0x14d
net/http.serverHandler.ServeHTTP(0xc0002b60e0, 0xc84a20, 0xc0002b61c0, 0xc000398900)
	/usr/local/soft/go/src/net/http/server.go:2843 +0xa3
net/http.(*conn).serve(0xc00035d720, 0xc86e20, 0xc000396040)
	/usr/local/soft/go/src/net/http/server.go:1925 +0x8ad
created by net/http.(*Server).Serve
	/usr/local/soft/go/src/net/http/server.go:2969 +0x36c
...

五，查看各库的版本:

module github.com/liuhongdi/digv05

go 1.15

require (
	github.com/gin-gonic/gin v1.6.3
	github.com/go-playground/universal-translator v0.17.0
	github.com/go-playground/validator/v10 v10.2.0
	github.com/jinzhu/gorm v1.9.16
	github.com/lestrrat/go-file-rotatelogs v0.0.0-20180223000712-d3151e2a480f
	github.com/lestrrat/go-strftime v0.0.0-20180220042222-ba3bf9c1d042 // indirect
	github.com/magiconair/properties v1.8.4 // indirect
	github.com/mitchellh/mapstructure v1.3.3 // indirect
	github.com/pelletier/go-toml v1.8.1 // indirect
	github.com/pkg/errors v0.9.1 // indirect
	github.com/spf13/afero v1.4.1 // indirect
	github.com/spf13/cast v1.3.1 // indirect
	github.com/spf13/jwalterweatherman v1.1.0 // indirect
	github.com/spf13/pflag v1.0.5 // indirect
	github.com/spf13/viper v1.7.1
	go.uber.org/multierr v1.6.0 // indirect
	go.uber.org/zap v1.16.0
	golang.org/x/sys v0.0.0-20201119102817-f84b799fce68 // indirect
	golang.org/x/text v0.3.4 // indirect
	gopkg.in/ini.v1 v1.62.0 // indirect
	gopkg.in/yaml.v2 v2.3.0 // indirect
)

老刘你真牛
关注
  • 3
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
【Go】全局日志处理、按天生成日志文件、格式化日志输出
weixin_43165220的博客
09-18 1041
golang中，通过中间件实现全局日志处理并输出到文件、文件按天生成。自定义实现格式化日志输出。
golang实现分割日志
qq_42119514的博客
11-17 2822
1.引用包 logrus包不能分割日志，所以必须配合file-rotatelogs包实现分割日志功能 rotatelogs "github.com/lestrrat-go/file-rotatelogs" log "github.com/sirupsen/logrus" 2.构建日志配置 注意： path后面的时间格式最好和WithRotationTime设置的时间对应， 如果WRT设置的是分钟，path后面也设置到分钟，设置到分钟时，分钟的M必须大写，小写的话文件的时间后缀不会更新。 WRT设置为2
【Golang】Goweb组件--Zap日志库
lrzHHl的博客
05-15 356
下面是使用zap.NewProduction()的例子，使用该例子来查看成功或失败得到的日志信息。的代码来获取Lumberjack的支持，下面的配置表示当日志大小超过10MB时，就会对其进行拆分。2、WriterSyncer：指定日志写到哪里去。3、Log Level：表示了那种级别的日志会被写入，1、Encoder：编码器，如何写入日志，这里使用。将日志写入文件而不是终端，使用的是。方法来手动传递所有配置，而不是使用。这样的预置方法来创建logger。并且将打开的文件句柄传进去。就是最低级别的日志级别。
golang 日志库zap和日志切割实践
qq_32421489的博客
07-19 1478
golang 日志库zap和日志切割实践
go logrus 日志切割过期清理
qq_38020553的博客
05-13 5178
package main import ( "github.com/lestrrat-go/file-rotatelogs" "github.com/pkg/errors" "github.com/rifflock/lfshook" log "github.com/sirupsen/logrus" "path" "time" ) func ConfigLocalFilesyste...
Golang高性能日志库zap + lumberjack 日志切割组件详解
脑袋装水的博客
09-01 7394
Golang 高性能日志库 zap 的详细使用！！！ Gin集成zap！！！ lumberjack 日志切割组件的详细使用！！！
Go语言之在gin框架中使用zap日志库
高性价比服务器就选：蓝易云
08-17 312
在Go语言的gin框架中使用zap日志库是一种常见的做法，它可以提供灵活和高效的日志记录功能。下面是一个简单的教程，演示如何在gin框架中集成并使用zap日志库。该函数在每个请求的处理过程中记录请求的相关信息，如HTTP方法、URL路径、响应状态码、客户端IP地址以及请求处理时间等。通过以上步骤，我们成功地在gin框架中集成了zap日志库，并使用自定义的Logger中间件来记录请求的相关信息。然后，我们定义了一个根路由的处理程序，并使用。以上代码中，我们创建了一个gin框架的实例，并使用。
gin-web:由gin + gorm + jwt + casbin组合实现的RBAC权限管理脚手架Golang版, 搭建完成即可快速、高效投入业务开发
04-30
Gin Web由gin + gorm + jwt + casbin组合实现的RBAC权限管理脚手架Golang版, 搭建完成即可快速、高效投入业务开发特性RESTful API 设计规范Gin 一款高效的golang web框架MySQL 数据库存储Jwt 用户认证, 登入登出一键...
goapp:Gin + GORM + Casbin + vue-element-admin实现的权限管理系统
03-11
基于Gin + GORM + Casbin + vue-element-admin实现的权限管理系统基于Casbin实现RBAC权限管理前端实现：vue-element-admin在线体验：http://35.241.100.145: 特性 基于Casbin的RBAC访问控制模型 JWT认证 前一级分离...
go-blog：Golang + gin + vue + MySQL博客
02-04
自由添加好友链并管理好友链顺序使用github的issue功能作为评论系统，该界面漂亮且方便其他用户留下消息和通知。 ★定期备份数据和静态资源★备份数据邮件发送到邮箱技术要点：主要代码是golang + vue + HTML + CSS...
yshop-gin基于当前流行技术组合的前后端商城系统(目前版本v1.3)基于： Gin+G-yshop-gin.zip
01-30
Gin是Go语言中一个快速、简洁且微型的Web框架，它提供了路由管理和中间件支持，使得开发RESTful API变得简单而高效。 在【yshop-gin】的当前版本v1.3中，我们可以期待一系列的改进和新特性。这个项目旨在为开发者...
Go日志滚动模块logrotator的使用方法及性能
01-06
logrotator是一款非常小巧的Go语言日志滚动输出模块，而日志写入速度较go-file-rotatelogs显著提升。模块本身只实现日志滚动输出和旧日志删除两个功能；由于模块实现了io.Writer接口，所以可以结合其它日志框架如logrus来实现更复杂的功能。 获取： go get “github.com/pochard/logrotator@v1.1.2” 引用：import “github.com/pochard/logrotator” 示例1：按指定时间间隔滚动 NewTimeBasedRotator(pattern string, period time.Duration) 函
file-rotatelogs:[存档] perl5 文件的端口
07-24
文件轮换日志 提供一个io.Writer从应用程序中定期轮换日志文件。 从 Perl 到 Go 的端口。 警告 该项目已归档。 它不会接收更新，作者不希望维护或支持它。 总之，不要使用这个项目。 概要 import ( "log" "net/http" apachelog "github.com/lestrrat-go/apache-logformat" rotatelogs "github.com/lestrrat-go/file-rotatelogs" ) func main () { mux := http . NewServeMux () mux . HandleFunc ( "/" , func ( w http. ResponseWriter , r * http. Request ) { ... }) logf , err := rotatelo
go语言web开发项目，项目基于gin+gorm+viper+logrus+mysql框架，实现了简单的用户增删改查的功能
最新发布
05-23
Go语言（也称为Golang）是由Google开发的一种静态强类型、编译型的编程语言。它旨在成为一门简单、高效、安全和并发的编程语言，特别适用于构建高性能的服务器和分布式系统。以下是Go语言的一些主要特点和优势： ...
golang gin 日志中间价(zap)
菜鸟博客
12-15 489
golang gin框架使用zap记录日志，并且使用rotatelogs 进行切割日志
gin 日志文件分割
jim的博客
01-21 938
package main import ( "fmt" "github.com/gin-gonic/gin" rotatelogs "github.com/lestrrat-go/file-rotatelogs" "github.com/lfshook" "github.com/sirupsen/logrus" "os" "path" "time" ) var ( logFilePath = "./" logFileName = "system.log" ) func main()
golang日志框架之logrus详细说明
Salted fish in hand, I have the world.
04-28 7351
前面的话 下面示例代码中的一些import我没做校验，我只是从我的一个测试代码里抠出来的，出现一些错误自己简单处理下就可以用。 logrus简介 logrus是一个可插拔的、结构化的日志框架。 logrus拥有六种日志级别：debug、info、warn、error、fatal和panic 可扩展的Hook机制： 允许使用者通过hook的方式将日志分发到任意地方，如本地文件系统、标准输出、logs...
gin基于logrus的日志+rotatelogs日志拆分的中间件
Kiven_super
10-19 1109
gin基于logrus的日志+rotatelogs日志拆分的中间件 func Logger() gin.HandlerFunc { filePath := "log/gin" linkName := "latest_log.log" src, _ := os.OpenFile(filePath, os.O_RDWR|os.O_CREATE, 0755) logger := logrus.New() logger.Out = src logger.SetLevel(logrus.DebugLev
zap+日志分级分文件+按时间切割日志整合demo
weixin_33875564的博客
05-24 1732
实现功能     info debug 级别的日志输出到 /path/log/demo.log     warn error .... 级别的日志输出到 /path/log/demo_error.log     日志自动按小时分割 最多保留7天的日志 依赖的第三方包github地址     https://github.com/uber-go/zap     https://github.com/...
gin 资料20221220
12-19
22225

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

老刘你真牛

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值