日志管理工具Zap笔记

最新推荐文章于 2024-05-31 21:14:01 发布
最新推荐文章于 2024-05-31 21:14:01 发布
阅读量403 收藏
点赞数 2
分类专栏： Go语言 文章标签： Zap go语言 日志管理 后端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_54015483/article/details/133795195
版权

文章目录

Uber-go Zap日志库

为什么选择 Zap

Zap是非常快的、结构化的，分日志级别的Go日志库。

根据Uber-go Zap的文档，它的性能比类似的结构化日志包更好，也比标准库更快。 以下是Zap发布的基准测试信息

记录一条消息和10个字段:

image-20231012103814504

记录一个静态字符串，没有任何上下文或printf风格的模板：

image-20231012103928379

配置 Zap Logger

Zap提供了两种类型的日志记录器：Sugared Logger和Logger。

  • 在性能很好但不是很关键的上下文中，使用SugaredLogger。它比其他结构化日志记录包快4-10倍，并且支持结构化和printf风格的日志记录。
  • 在每一微秒和每一次内存分配都很重要的上下文中，使用Logger。它比SugaredLogger更快，内存分配次数也更少，但它只支持强类型的结构化日志记录。

什么是printf风格的日志记录？就是实现相同的日志描述，sugarLogger只要写更少的代码就能实现更清晰的描述功能。demo代码如下：

// 使用logger
logger.Info("Failed to fetch URL", zap.String("url", url))
logger.Debug("Retrying：", zap.Int("delay", delay))

// 使用sugarLogger
sugarLogger.Infof("Failed to fetch URL: %s", url)
sugarLogger.Debugf("Retrying in %d seconds...", delay)
1. Logger
  • 通过调用 zap.NewProduction()/zap.NewDevelopment()或者zap.Example()创建一个Logger。
    • zap.NewProduction(): 创建一个适合在生产环境中使用的Logger。这个Logger会输出JSON格式的日志，包含时间戳和调用者信息。默认情况下，它会将InfoLevel及以上的日志写入标准输出。这个Logger的配置更注重性能和日志的机器解析性。
    • zap.NewDevelopment(): 创建一个适合在开发环境中使用的Logger。这个Logger的输出格式更适合人类阅读，而不是机器解析。它也包含了时间戳和调用者信息，但是默认情况下，它会将DebugLevel及以上的日志写入标准错误输出。这个Logger的配置更注重人类的可读性和错误的详细信息。
    • zap.Example(): 创建一个简单的Logger主要用于库的示例。这个Logger会将所有级别的JSON格式的日志写入标准输出，不包含时间戳和调用者信息。这个Logger配置主要用于演示库的基础功能，通常不会在生产或开发环境中使用。
  • 通过Logger调用Info/Error等。
  • 默认情况下日志都会打印到应用程序的console界面。
var logger *zap.Logger

func main() {
	InitLogger()
	defer func(logger *zap.Logger) {
		//每个使用zap库的应用程序在结束前都应调用Logger.Sync()，来确保所有的日志都被写入目标设备。
		//因为zap库为了提高性能，可能会缓存一些日志在内存中，而不是立即写入目标设备。
		_ = logger.Sync()
	}(logger)
	simpleHttpGet("https://www.baidu.com")
	simpleHttpGet("https://www.google.com")
}

func InitLogger() {
	logger, _ = zap.NewProduction()
}

func simpleHttpGet(url string) {
	resp, err := http.Get(url)
	if err != nil {
		logger.Error(
			"Error fetching url..",
			zap.String("url", url),
			zap.Error(err))
	} else {
		logger.Info("Success..",
			zap.String("statusCode", resp.Status),
			zap.String("url", url))
		_ = resp.Body.Close()
	}
}

当发送请求错误时使用error级别的日志记录；当请求成功时使用info级别的日志记录。运行结果如下：

image-20231012114209538

2. SugaredLogger
var sugarLogger *zap.SugaredLogger

func main() {
	InitLogger()
	defer func(sugarLogger *zap.SugaredLogger) {
		_ = sugarLogger.Sync()
	}(sugarLogger)

	simpleHttpGet("https://www.baidu.com")
	simpleHttpGet("https://www.google.com")
}

func InitLogger() {
	logger, _ := zap.NewProduction()
	sugarLogger = logger.Sugar()
}

func simpleHttpGet(url string) {
	sugarLogger.Debugf("Trying to hit GET request for %s", url)
	resp, err := http.Get(url)
	if err != nil {
		sugarLogger.Errorf("Error fetching URL %s : Error = %s", url, err)
	} else {
		sugarLogger.Infof("Success! statusCode = %s for URL %s", resp.Status, url)
		_ = resp.Body.Close()
	}
}

运行结果如下：

image-20231012134843262

定制logger

1. 将日志写入文件而不是终端

我们将使用 zap.New() 方法来手动传递所有配置，而不是使用像 zap.NewProduction() 这样的预置方法来创建logger。logger常见完成要做的第一个更改是把日志写入文件，而不是打印到应用程序控制台。zap.New() 方法的原型如下：

func New(core zapcore.Core, options ...Option) *Logger

zapcore.Core 这个参数需要三个配置，分别是Encoder、WriteSyncer和LogLevel。

  • Encoder：编码器(如何写入日志)。这里使用开箱即用的 NewJSONEncoder()，zapcore.NewJSONEncoder()返回一个将日志消息编码为JSON格式的编码器。然后并使用预先设置的 NewProductionEncoderConfig()，这个NewProductionEncoderConfig()有如下配置可供选择：

    • MessageKey: 默认为"msg"，用于指定输出的消息的键名。
    • LevelKey: 默认为"level"，用于指定输出的日志级别的键名。
    • TimeKey: 默认为"ts"，用于指定输出的时间戳的键名。
    • NameKey: 默认为"logger"，用于指定输出的日志记录器名称的键名。
    • CallerKey: 默认为"caller"，用于指定输出的调用者信息的键名。
    • StacktraceKey: 默认为"stacktrace"，用于指定输出的堆栈信息的键名。
    • LineEnding: 默认为"\n"，用于指定行结束符。
    • EncodeLevel: 默认为zapcore.LowercaseLevelEncoder，用于指定日志级别的编码方式。
    • EncodeTime: 默认为zapcore.EpochTimeEncoder，用于指定时间戳的编码方式。
    • EncodeDuration: 默认为zapcore.SecondsDurationEncoder，用于指定时间持续期的编码方式。
    • EncodeCaller: 默认为zapcore.ShortCallerEncoder，用于指定调用者信息的编码方式。
    // 这里我们都使用默认的即可
zapcore.NewJSONEncoder(zap.NewProductionEncoderConfig())

  • WriterSyncer：指定日志将写到哪里去。我们使用 zapcore.AddSync() 函数并且将打开的文件句柄传进去。

    file, _ := os.Create("./log/demo.log")
writeSyncer := zapcore.AddSync(file)

  • Log Level：哪种级别的日志将被写入。有以下几种日志级别：

    1. DebugLevel: 通常只在开发环境中使用，用于输出详细的调试信息。
    2. InfoLevel: 适用于生产环境，用于记录关键的系统信息。
    3. WarnLevel: 对可能存在问题的情况进行警告，但不会影响系统运行。
    4. ErrorLevel: 在系统无法正常运行时进行记录，比如无法进行数据库连接、缺失必要的配置文件等。
    5. DPanicLevel: 用于开发环境，当代码运行到绝不应该运行的部分时，记录Panic日志。在生产环境，不会引起Panic，只会记录错误。
    6. PanicLevel: 与DPanicLevel相似，用于非开发环境，当代码运行到绝不应该运行的部分时，会引发Panic。
    7. FatalLevel: 当系统无法运行时，记录致命错误，然后调用os.Exit。

    修改上述部分中的Logger代码：重写InitLogger()方法。

    func InitLogger() {
    encoder := getEncoder()
	writeSyncer := getLogWriter()
	core := zapcore.NewCore(encoder, writeSyncer, zapcore.DebugLevel)

	logger := zap.New(core)
	sugarLogger = logger.Sugar()
}

func getEncoder() zapcore.Encoder {
	return zapcore.NewJSONEncoder(zap.NewProductionEncoderConfig())
}

func getLogWriter() zapcore.WriteSyncer {
	file, _ := os.Create("./log/demo.log")
	return zapcore.AddSync(file)
}

当使用这些修改过的logger配置调用上述部分的main()函数时，以下输出将打印在文件./log/demo.log中。

{"level":"debug","ts":1697091706.9003525,"msg":"Trying to hit GET request for https://www.baidu.com"}
{"level":"info","ts":1697091707.2923145,"msg":"Success! statusCode = 200 OK for URL https://www.baidu.com"}
{"level":"debug","ts":1697091707.2925751,"msg":"Trying to hit GET request for https://www.google.com"}
{"level":"error","ts":1697091728.6855457,"msg":"Error fetching URL https://www.google.com : Error = Get \"https://www.google.com\": dial tcp [2a03:2880:f126:83:face:b00c:0:25de]:443: connectex: A connection attempt failed because the connected party did not properly respond after a period of time, or established connection failed because connected host has failed to respond."}
2. 将JSON Encoder更改为普通的Log Encoder

现在，我们希望将编码器从JSON Encoder更改为普通Encoder。其实只需要将NewJSONEncoder()更改为NewConsoleEncoder()即可。

func getEncoder() zapcore.Encoder {
	return zapcore.NewConsoleEncoder(zap.NewProductionEncoderConfig())
}

最后的日志结果如下：

1.6970938827359314e+09	debug	Trying to hit GET request for https://www.baidu.com
1.697093883124089e+09	info	Success! statusCode = 200 OK for URL https://www.baidu.com
1.6970938831244597e+09	debug	Trying to hit GET request for https://www.google.com
1.6970939045269628e+09	error	Error fetching URL https://www.google.com : Error = Get "https://www.google.com": dial tcp 162.125.32.15:443: connectex: A connection attempt failed because the connected party did not properly respond after a period of time, or established connection failed because connected host has failed to respond.
3. 更改时间编码并添加调用者详细信息

第一步：覆盖默认的ProductionConfig()

func getEncoder() zapcore.Encoder {
	// 得到编码配置
	encoderConfig := zap.NewProductionEncoderConfig()
	// 通过配置修改时间编码规则
	encoderConfig.EncodeTime = zapcore.ISO8601TimeEncoder
	// 通过配置添加调用者信息
	encoderConfig.EncodeLevel = zapcore.CapitalLevelEncoder
	return zapcore.NewConsoleEncoder(encoderConfig)
}

第二步：修改zap logger代码，添加将调用函数信息记录到日志中的功能。也就是在zap.New()函数中添加一个Option。

logger := zap.New(core, zap.AddCaller())

最后的运行结果如下：

2023-10-12T15:11:29.098+0800	DEBUG	zap/main.go:47	Trying to hit GET request for https://www.baidu.com
2023-10-12T15:11:29.624+0800	INFO	zap/main.go:52	Success! statusCode = 200 OK for URL https://www.baidu.com
2023-10-12T15:11:29.624+0800	DEBUG	zap/main.go:47	Trying to hit GET request for https://www.google.com
2023-10-12T15:11:51.053+0800	ERROR	zap/main.go:50	Error fetching URL https://www.google.com : Error = Get "https://www.google.com": dial tcp [2a03:2880:f10d:83:face:b00c:0:25de]:443: connectex: A connection attempt failed because the connected party did not properly respond after a period of time, or established connection failed because connected host has failed to respond.
4. AddCallerSkip

当我们不是直接使用初始化好的logger实例记录日志，而是将其包装成一个函数等，此时日录日志的函数调用链会增加，想要获得准确的调用信息就需要通过AddCallerSkip函数来跳过。

logger := zap.New(core, zap.AddCaller(), zap.AddCallerSkip(1))
5. 将err日志单独输出到文件

有时候我们除了将全量日志输出到xxx.log文件中之外，还希望将ERROR级别的日志单独输出到一个名为xxx.err.log的日志文件中。我们可以通过以下方式实现。

func InitLogger() {
	encoder := getEncoder()
	// demo.log记录全量日志
	logF, _ := os.Create("./log/demo.log")
	c1 := zapcore.NewCore(encoder, zapcore.AddSync(logF), zapcore.DebugLevel)
	// demo.err.log记录ERROR级别的日志
	errF, _ := os.Create("./log/demo.err.log")
	c2 := zapcore.NewCore(encoder, zapcore.AddSync(errF), zap.ErrorLevel)
	// 使用NewTee将c1和c2合并到core
	core := zapcore.NewTee(c1, c2)
	logger := zap.New(core, zap.AddCaller())
	sugarLogger = logger.Sugar()
}

demo.err.log的内容如下：

2023-10-12T15:21:09.108+0800	ERROR	zap/main.go:55	Error fetching URL https://www.google.com : Error = Get "https://www.google.com": dial tcp [2a03:2880:f112:83:face:b00c:0:25de]:443: connectex: A connection attempt failed because the connected party did not properly respond after a period of time, or established connection failed because connected host has failed to respond.

demo.log的内容如下：

2023-10-12T15:20:47.300+0800	DEBUG	zap/main.go:52	Trying to hit GET request for https://www.baidu.com
2023-10-12T15:20:47.675+0800	INFO	zap/main.go:57	Success! statusCode = 200 OK for URL https://www.baidu.com
2023-10-12T15:20:47.675+0800	DEBUG	zap/main.go:52	Trying to hit GET request for https://www.google.com
2023-10-12T15:21:09.108+0800	ERROR	zap/main.go:55	Error fetching URL https://www.google.com : Error = Get "https://www.google.com": dial tcp [2a03:2880:f112:83:face:b00c:0:25de]:443: connectex: A connection attempt failed because the connected party did not properly respond after a period of time, or established connection failed because connected host has failed to respond.

使用Lumberjack进行日志切割归档

Zap日志工具唯一缺少的就是日志切割归档功能。这里使用第三方库Lumberjack来实现，但是这个库目前只支持按文件大小切割，原因是按时间切割效率低且不能保证日志数据不被破坏。

zap logger中加入Lumberjack

要在zap中加入Lumberjack支持，我们需要修改WriteSyncer代码。我们将按照下面的代码修改getLogWriter()函数：

// MaxSize:定义了日志文件的最大大小，单位是MB。
// MaxBackups:定义了最多保留的备份文件数量。当备份文件数量超过MaxBackups后，lumberjack会自动删除最旧的备份文件。
// MaxAge:定义了备份文件的最大保存天数。当备份文件的保存天数超过MaxAge后，lumberjack会自动删除备份文件。
// Compress:定义了备份文件是否需要压缩。如果设置为true，备份的日志文件会被压缩为.gz格式。
func getLogWriter() zapcore.WriteSyncer {
	lumberJackLogger := &lumberjack.Logger{
		Filename:   "./log/demo.log",
		MaxSize:    1,
		MaxBackups: 5,
		MaxAge:     30,
		Compress:   false,
	}
	return zapcore.AddSync(lumberJackLogger)
}

最后只要将getLogWriter返回就行。

writeSyncer := getLogWriter()

总结

以上就是Zap库的基本使用。下面做一个总结：

  • Zap提供了两种类型的日志记录器：Sugared Logger和Logger。
  • 对于性能要求不是非常高的应用可以使用Sugared Logger。相比于Logger，Sugared Logger提供了printf风格的日志记录。
  • 对于性能要求非常高的应用需要使用Logger来保证性能。
  • 不管是Logger还是Sugared Logger，它们都有三个预制化的日志：zap.NewProduction()、zap.NewDevelopment()和zap.Example()。
  • 如果不想使用预制化的日志记录，可以自己定制日志记录。
  • 定制日志需要使用zap.New方法，该方法有一个core参数和多个options。
  • core参数需要通过zapcore.NewCore()方法生成，该方法需要三个参数：encoder、writeSyncer和level。
  • 通过配置encoder参数可以指定日志级别的编码方式（是JSON格式还是控制台格式），还可以指定更改时间编码方式等。
  • 通过配置writeSyncer参数可以指定日志的输出位置。并且通过引入Lumberjack库还可以实现日志切割。
  • 通过配置level参数可以控制日志级别，有DebugLevel、InfoLevel、ErrorLevel等级别，可以根据需要进行选择。
N-1-萘乙基二胺盐酸盐
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Zap之日志记录器选择
dm_changping的博客
05-16 425
Zap之日志记录器选择 在Zap中存在两个日志器模式： Logger SugaredLogger 这两种模式的最大区别在于是否类型安全，SugarLogger可以接收松散类型和多键值对： //在第四行可以看到sugar的信息记录不需要显式的声明变量类型 sugar := zap.NewExample().Sugar() defer sugar.Sync() sugar.Infow("failed to fetch URL", "url", "http://example.com", "atte
日志：Uber Zap记录器
02-14
日志 log可以替代std/log并在内部使用日志库的功能。 它实现了以下Zap核心：用法默认情况下使用开发设置。 类似于std/log 。 所有日志均写入stderr。 import "github.com/mattes/log"func main () { defer log . ...
Go语言日志库zap
YIYIYI
06-01 1684
Go语言日志库zap
自定义 ZapLogger：集成 Uber 的 Zap 日志库
最新发布
qq_35214930的博客
05-31 425
自定义 ZapLogger：集成 Uber 的 Zap 日志库
Go使用Zap日志库
寻找09之夏的博客
06-14 1282
Go使用高性能日志库Zap
Go --- Zap日志包的使用
weixin_52025712的博客
05-10 2743
关于go语言Zap包的使用
zap日志的基本使用（go必会知识*）
qq_43514659的博客
11-26 6166
目录日志介绍为什么选择zap日志zap的安装zap的基本配置自定义logger将JSON Encoder更改为普通的Log Encoder 日志介绍 我们都知道哈，项目在开发阶段，出现问题，我们一般会存日志来进行分析问题，这是非常有效的，上线后更需要依赖日志了，所以查看日志是非常重要的。 那么我们需要怎么样的日志呢？ 其实在我们的go语言里面的提供了很多的日志库，但是我们需要一个好的日志能够提供以下几个条件： 能打印最基本的信息，例如调用的文件，函数名称，行号，日志时间等等。 支持不同的日志级别，例如
golang基于zap日志库封装.rar
01-14
本文将详细讨论如何基于`zap`日志库进行封装，以及如何与`gin`、`xorm`和`gorm`等框架集成，以实现日志的高效管理和输出。 首先，我们来看`zap`库的特点。`zap`提供了以下优势： 1. 高性能：通过减少内存分配和使用...
安全测试工具-OWASP ZAP使用
07-30
在我们日常的测试工作中，我们可以使用zap来协助我们做web安全测试，只需简单的几个步骤即可完成自动化的web安全测试.
mac-安全测试工具owasp zap下载
06-13
owasp作为一个开源免费的安全测试工具，集成了各种工具的渗透测试框架，可以用来主动扫描和手动扫描，也可以用里面的库进行渗透测试，里面的内容也实时都在更新，建议有安全测试需求的测试人员练手使用。 由于官网...
生成SAP R3 许可证的ZAP工具
07-12
通过安装编号，硬件代码等信息进行许可证注册，也可生成访问键值（Access Key）
一文搞懂 Golang 高性能日志库 - Zap
rubys007的博客
02-02 2110
到目前为止，我们已经展示了如何通过 Zap 提供的生产和开发预设来使用默认配置。现在让我们来看看如何使用自定义配置选项创建一个实例。使用Zap创建自定义Logger有两种主要方法。第一种方法是使用其Configimport ("os""stderr",},"stderr",},},")上面的函数返回一个新的zap.Logger，它的功能类似于Logger，但有一些不同之处。我们将 Zap 的生产配置作为我们自定义日志记录器的基础，通过调用并稍微修改它，将ts字段更改为。
（1）go web开发之 zap日志库的使用及gin框架配置zap记录日志详细文档讲解分析
pythonstrat的博客
11-23 2223
（一）介绍 zap 是go 中比较火的一个日志库，提供不同级别的日志，并且速度快 官方文档： https://pkg.go.dev/go.uber.org/zap#section-readme， 也可以github 直接搜索 zap。 文档上面有全面的介绍。鼓励大家观看文档， 可以有视频资料做相关引导，但学东西必须要看到官方文档。尤其是文档也已经适合入门了，先看Quick Start 部分，一般都有入门例子及整体框架介绍。 官方文档介绍，非常清晰，还有相关数据对比，并且一般都会具有 exampl
zap日志二次封装
weixin_34144848的博客
11-29 1948
前言 目前go提供的较为活跃的日志库有Logrus和Uber开源的zap。Logrus提供了丰富的hook库可用于扩展，ZAP则侧重在高性能方面，两则使用都相对来说比较简单，提供的功能都足够使用。当前的项目中对于日志的高新更高，所以选择了zap库，并做了简单的log包封装 Logrus：github.com/sirupsen/lo… ZAP： github.com/uber-go/zap N...
Go日志库——zap的配置笔记（zap.Logger、zap.SugaredLogger）
xuehu96的博客
01-10 1148
代码 package main import ( // "github.com/natefinch/lumberjack" "os" "go.uber.org/zap" "go.uber.org/zap/zapcore" _ "github.com/go-sql-driver/mysql" "github.com/jmoiron/sqlx" ) var log *zap.Logger var logs *zap.SugaredLogger var db *sqlx.DB func m
Gin整合Zap日志库-快速上手
delete_you的博客
02-02 1037
gin使用外部库zap配置日志系统，不使用gin自带日志库是因为其操作复杂且效率低
zap——logger的创建及logger的使用过程
yuchenfw的博客
01-18 2924
文章目录根据Conifg创建LoggerbuildEncoderopenSinksCombineWriteSyncerslog的使用check levelWirteEncodeEntryc.out.WriteSync总结 根据Conifg创建Logger // Build constructs a logger from the Config and Options. func (cfg Conf...
Go之zap的log包使用
gcglhd的博客
11-26 1894
背景： 当前项目需要，因为在项目部署后，会持续的产生大量的日志，那么其中最重要的就是我们所说的内存消耗问题了，一旦部署服务器，会每时每刻的产生日志，随着时间的推移，可能日志就会达到相当大的内存。如果项目很多可能堆积的大量日志会导致系统服务无法使用 我就是根据这个需求，在网上找了一些相关的公共log包，看看有没有什么可以使用的，发现其中zap包性能和使用上面最为方便，下面就具体介绍相关的使用：（springBoot的log已经解决了这个问题，前面的博客已经进行了说明） 首先： 该包...
ZAP高性能日志库简要介绍
03-08
ZAP是一款高性能的日志库，它采用了零内存分配的设计，能够在高并发场景下保持稳定的性能表现。它支持多种日志级别，可以方便地进行日志输出和管理。此外，ZAP还提供了多种输出格式和输出目标，可以满足不同场景下的需求。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值