go.uber.org/zap

最新推荐文章于 2024-02-02 08:00:00 发布
最新推荐文章于 2024-02-02 08:00:00 发布
阅读量1.5k 收藏 4
点赞数
文章标签： java python 大数据 linux 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/JunChow520/article/details/122167540
版权

参考资料

日志组件

  • 日志组件对于计算资源的消耗十分巨大，会导致整个服务成本居高不下。
  • 日志作为代码行为的记录，是程序执行逻辑和异常最直接的反馈。
  • 日志中同样蕴含了大量有价值可以被挖掘的信息

日志需求

  • 日志记录：将事件记录到文件而非控制台
  • 日志切割：日志能按文件大小、时间、间隔等切割
  • 日志级别：支持不同日志级别
  • 日志答应：能打印基本信息，如调用文件、函数名称、行号、时间等

设计思路

  • 输入数据应该被良好的组织且易于编码，同时需要具有高效的空间利用率。无论是formator方式还是key-value方式，本质上都是对输入数据的组织形式。格式化数据往往有利于后续分析和处理，比如JSON就是一种易用的日志格式。
  • 日志能够具有不同级别，基本的日志级别种必不可少的如debug/info/warning/error/fatal。除了针对每条日志的级别，还需要日志组件的级别，用来屏蔽某些级别的日志。
  • 组织日志的输出流，首先需要一个高效地编码器来格式化后，再将经过过滤的日志输出。
  • 设计一套简单易用的接口，需要包含logger对象和config。

解决方案

  • uber-go/zap 高性能但不支持日志切割
  • natefinch/lumberjack 单独实现日志切割

uber-go/zap 支持不同日志级别打印信息但不支持日志分割，日志分割官方建议使用natefinch/lumberjack 包，结合这两个库来实现日志功能。

uber-go/zap

Zap是Uber开源的Go高性能日志库，其优势在于实时写结构化日志(Structured Logging)到文件具有很好的性能。结构化日志实际上是指不直接输出日志文本，才是采用JSON或其它编码方式使日志内容结构化，方便后续分析和查找，比如采用ELK(Elasticsearch Logstatash Kibana)。

日志输出中有两种方式字段和消息，字段用来结构化输出错误相关的上下文环境，消息简明扼要的阐述错误本身。Zap跟Logrus以及标准库中的log类似都提倡采用结构化的日志格式，而不是将所有消息放到消息体中。

安装包

$ go get -uv go.uber.org/zap
$ go get -uv github.com/natefinch/lumberjack

设计结构

设计结构
核心库描述
zapcore定义低级接口(zap所依赖的核心接口)，接口的实现和依赖分离以最大化降低代码之间的耦合度，可直接针对zapcore封装以便于二开。
zapgrpcgrpc logger的封装实现，便于grpc 用户添加log。
internal/bufferpool & bufferbuffer提供了append field功能，通过append将基础类型添加到buffer中，同时使用sync.Pool提供的对象池技术通过对象复用来减少内存分配。
internal/ztest & zaptestzaptest warp提供了mock接口便于测试，zap代码整体单元测试覆盖到了98.9%。
核心库描述
zapcoreZap库的核心逻辑，包括field的管理、level的判断、encode编码日志、输出日志等。
loggerZap库的接口层，包含Log对象、Level对象、Field对象、config`等基本对象
encoderJSON等编码方式的实现
utils工具库

日志记录器

  • Zap的基本用法是首先创建一个全局的Logger日志记录器实例，然后在需要使用的位置作为参数传入。
  • Zap自身提供了全局的Logger是zap.S()和zap.L()，
  • 也可采用zap.ReplaceGlobals()将全局的Logger替换为客制化的Logger。
type Logger struct {
    core zapcore.Core

    development bool
    name        string
    errorOutput zapcore.WriteSyncer

    addCaller bool
    addStack  zapcore.LevelEnabler

    callerSkip int
}

Zap提供了两种类型的日志记录器：zap.Logger和zap.SugaredLogger

zap.Logger

zap.Logger 在每一微秒和每一次内存分配重要的上下文中使用，比zap.SugaredLogger更快，内存分配次数更少，但只支持强类型的结构化日志。

默认的zap.Logger日志记录器需要结构化标签，对每个标签需使用特定值类型的函数。

创建方式

func New(core zapcore.Core, options ...Option) *Logger
func NewNop() *Logger 
func NewProduction(options ...Option) (*Logger, error) 
func NewDevelopment(options ...Option) (*Logger, error)
func NewExample(options ...Option) *Logger

不同创建方式之间的区别在于记录的信息不同，例如zap.NewProduction()默认会及记录调用函数的信息以及日期时间等。

  • zap.NewExample()和zap.NewProduction()使用JSON格式输出
  • zap.Development()使用行的形式输出

zap.Example

logger := zap.NewExample()
logger.Info("message")   // {"level":"info","msg":"message"}
logger.Debug("message") // {"level":"debug","msg":"message"}
logger.Warn("message")   // {"level":"warn","msg":"message"}
logger.Error("message") // {"level":"error","msg":"message"}
logger.Panic("message") // {"level":"panic","msg":"message"} panic: message

zap.NewProduction

logger, err := zap.NewProduction()
if err != nil {
    log.Println(err)
}
logger.Info("message")  // {"level":"info","ts":1640526778.9686759,"caller":"test/main.go:63","msg":"message"}
logger.Debug("message") // 无
logger.Warn("message")  // {"level":"warn","ts":1640526778.9686759,"caller":"test/main.go:65","msg":"message"}
logger.Error("message") // {"level":"error","ts":1640526778.9686759,"caller":"test/main.go:66","msg":"message","stacktrace":"main.main\n\tF:/Go/project/test/main.go:66\nruntime.main\n\tF:/Go/root/src/runtime/proc.go:255"}
logger.Panic("message") // {"level":"panic","ts":1640526778.9686759,"caller":"test/main.go:67","msg":"message","stacktrace":"main.main\n\tF:/Go/project/test/main.go:67\nruntime.main\n\tF:/Go/root/src/runtime/proc.go:255"}
  • 不记录调用级别消息
  • 始终会将调用者添加到日志文件中
  • 以时间戳格式打印日期
  • 以小写形式打印级别名称
  • ERROR/DPANIC级别的记录会在堆栈中跟踪文件，WARN则不会。

zap.Development

logger, err := zap.NewDevelopment()
if err != nil {
    log.Println(err)
}
logger.Info("message")  // 2021-12-26T21:55:56.822+0800 INFO    test/main.go:63 message
logger.Debug("message") // 2021-12-26T21:55:56.848+0800 DEBUG   test/main.go:64 message
logger.Warn("message")  // 2021-12-26T21:55:56.848+0800 WARN    test/main.go:65 message
logger.Error("message") // 2021-12-26T21:55:56.848+0800 ERROR   test/main.go:66 message
logger.Panic("message") // 2021-12-26T21:55:56.848+0800 PANIC   test/main.go:67 message
  • 从警告级别向上打印到堆栈中来追踪
  • 始终打印包/文件/行(方法)
  • 行尾会添加额外字段作为JSON字符串
  • 以大写形式打印级别名称
  • 以毫秒位单位打印ISO8601格式的时间戳

zap.New

若需定制日志记录器则需使用zap.New()手动传递自定义的配置来创建zap.Logger实例。

func New(core zapcore.Core, options ...Option) *Logger {
    if core == nil {
        return NewNop()
    }
    log := &Logger{
        core:        core,
        errorOutput: zapcore.Lock(os.Stderr),
        addStack:    zapcore.FatalLevel + 1,
    }
    return log.WithOptions(options...)
}

zapcore.Core

zapcore.Core定义低级接口(zap所依赖的核心接口)，接口的实现和依赖分离以最大化降低代码之间的耦合度，可直接封装以便于二开。zapcore.Core是Zap库的核心逻辑，包括field的管理、level的判断、encode编码日志、输出日志等。

zapcore.Core需要三个配置，分别是Encoder、WriteSyncer、LogLevel

配置项描述
Encoder编码器，如何写入日志。
WriteSyncer指定日志写到哪里
LogLevel哪种级别的日志将被写入

例如：自定义日志记录器

  • 使用ISO8601时间编码器
  • 使用大写字母记录日志级别
  • 采用单行打印而非JSON
  • 采用文件存储而非屏幕输出
//获取编码器
func getEncoder() zapcore.Encoder {
    c := zap.NewProductionEncoderConfig()
    c.EncodeTime = zapcore.ISO8601TimeEncoder   //使用ISO8601时间编码器
    c.EncodeLevel = zapcore.CapitalLevelEncoder //使用大写字母记录日志级别
    e := zapcore.NewConsoleEncoder(c)           //打印更符合人类观察的方式
    return e
}

//日志保存位置
func getWriteSyncer(filename string) zapcore.WriteSyncer {
    fp, _ := os.Create(filename)
    return zapcore.AddSync(fp)
}

//自定义日志记录器
func Logger() *zap.Logger {
    filename := "./tmp/log/test.log"
    //创建日志内核实例
    encoder := getEncoder()                 //日志编码方式
    writeSyncer := getWriteSyncer(filename) //日志保存位置
    logLevel := zapcore.DebugLevel          //日志记录等级
    core := zapcore.NewCore(encoder, writeSyncer, logLevel)
    //创建日志记录器实例
    //zap.AddCaller() 添加将调用函数信息记录到日志中功能
    logger := zap.New(core, zap.AddCaller())
    //sugar := logger.Sugar()

    return logger
}

func main() {
    logger := Logger()
    logger.Info("message")
    logger.Debug("message")
    logger.Warn("message")
    logger.Error("message")
    logger.Panic("message")
}
2021-12-26T22:15:30.521+0800    INFO    test/main.go:88 message
2021-12-26T22:15:30.550+0800    DEBUG   test/main.go:89 message
2021-12-26T22:15:30.550+0800    WARN    test/main.go:90 message
2021-12-26T22:15:30.550+0800    ERROR   test/main.go:91 message
2021-12-26T22:15:30.550+0800    PANIC   test/main.go:92 message

zap.SugaredLogger

zap.SugaredLogger 适用于性能很好但不是关键的上下文中，比其它结构化日志记录包快4到10倍，支持结构化和printf风格的日志记录。zap.SugaredLogger基于printf分割的反射类型检测，提供更加简单的语法来添加混合类型的标签。

func (log *Logger) Sugar() *SugaredLogger

zap.Logger默认是不支持格式化输出的，要打印指定值必须采用采用诸如zap.String()、zap.Int()等封装方法，因此代码显得很冗长。

zap.SugaredLogger

JunChow520
关注
Go 学习笔记（54）— Go 第三方库之 uber-go/zap/lumberjack（记录日志到文件、支持自动分割日志、支持日志级别、打印调用文件、函数和行号）
wohu1104的专栏
07-13 1万+
1. 简要说明 zap 是 uber 开源的 Go 高性能日志库，支持不同的日志级别， 能够打印基本信息等，但不支持日志的分割，这里我们可以使用 lumberjack 也是 zap 官方推荐用于日志分割，结合这两个库我们就可以实现以下功能的日志机制： 能够将事件记录到文件中，而不是应用程序控制台； 日志切割能够根据文件大小、时间或间隔等来切割日志文件； 支持不同的日志级别，例如 DEBUG ， INFO ， WARN ， ERROR 等； 能够打印基本信息，如调用文件、函数名和行号，日志时间等；
[go]zap配合logrotate实现日志滚动
I have a adream
09-10 2118
zap是Uber 提供的GoLang高性能日志库，zap 本身并不提供日志滚动功能，官方 FAQ 提到，可以使用Linux系统自带的 logrotate 或lumberjack实现日志滚动功能 lumberjack 只能向文件输出日志，如果我们希望同时向stderr 和文件输出日志，只能使用 logrotate 配合自定义 WriteSyncer 实现了 Go代码 package main import ( "bufio" "context" "fmt" "go.uber.org/zap" "g
开源项目-uber-go-zap.zip
10-08
开源项目-uber-go-zap.zip,快速、结构化、分级登录go
go.uber.org/zap日志库
weixin_52690231的博客
05-20 1940
go.uber.org/zap日志库
Go 第三方库之 uber-go/zap（记录日志到文件、支持自动分割日志、支持日志级别、打印调用文件、函数和行号）
LinAndCurry的博客
12-31 2516
目录 1.简介 2.下载安装使用 3.zap looger使用 4.将日志写入文件 5.使用lumberjack进行日志切割归档 1.简介 zap 是 uber 开源的 Go 高性能日志库，支持不同的日志级别， 能够打印基本信息等，但不支持日志的分割，这里我们可以使用 lumberjack 也是 zap 官方推荐用于日志分割，结合这两个库我们就可以实现以下功能的日志机制： 能够将事件记录到文件中，而不是应用程序控制台； 日志切割能够根据文件大小、时间或间隔等来切割日志文件； 支持不同的日
基于go.uber.org/zap框架实现随日期生成log文件
a1309525802的博客
10-17 753
基于go.uber.org/zap框架实现随日期生成log文件 介绍 一直想找一个能生成当天的log目录,然后看了看找到github最火的go.uber.org/zap log框架感觉挺好用的然后就进行封装 package logger import ( "fmt" "os" "path" "runtime" "time" "go.uber.org/zap" "gopkg.in/natefinch/lumberjack.v2" "go.uber.org/zap/zapcore" )
Go日志-Uber开源库zap使用
程序猿CKeen的专栏
06-24 2831
目录 1. zap包介绍 2. zap的使用 3. 使用Namespace构建嵌套格式 4. 构造的Logger对象的选项Option 5. 参考资料 上一篇我们讲到go日志官方标准库的log的使用方法介绍，官方log标准库虽然简单，也不依赖第三方实现，但是功能相对较弱，不支持日志级别、日志分割、日志格式等,所以在项目中很少直接使用，通用于快速调试和验证。这一篇我们来介绍一下Uber官方开源日志库zap。 1. zap包介绍 zap是uber开源的日志包，以高性能著称。zap除了具有日.
go zap日志库的使用
qq_42665165的博客
10-22 1076
Zap是非常快的、结构化的，分日志级别的Go日志库。 1.安装 go get -u go.uber.org/zap 2.配置 Zap提供了两种类型的日志记录器—Sugared Logger和Logger。 在性能很好但不是很关键的上下文中，使用SugaredLogger。它比其他结构化日志记录包快4-10倍，并且支持结构化和printf风格的日志记录。 在每一微秒和每一次内存分配都很重要的上下文中，使用Logger。它甚至比SugaredLogger更快，内存分配次数也更少，但它只支持强类型的结构化日志记录
Golang Gin框架
ayaoweiyou的博客
03-06 453
Golang Gin框架 涉及到的context和middleware的使用示例 用到的库: go get -u go.uber.org/zap go get -u github.com/gin-gonic/gin 地址： https://pkg.go.dev/go.uber.org/zap （zap：Package zap provides fast, structured, leveled logging.） https://github.com/gin-gonic/gin package main
一文搞懂 Golang 高性能日志库 - Zap
最新发布
rubys007的博客
02-02 2843
到目前为止，我们已经展示了如何通过 Zap 提供的生产和开发预设来使用默认配置。现在让我们来看看如何使用自定义配置选项创建一个实例。使用Zap创建自定义Logger有两种主要方法。第一种方法是使用其Configimport ("os""stderr",},"stderr",},},")上面的函数返回一个新的zap.Logger，它的功能类似于Logger，但有一些不同之处。我们将 Zap 的生产配置作为我们自定义日志记录器的基础，通过调用并稍微修改它，将ts字段更改为。
Go语言使用zap日志库
weixin_46272577的博客
06-07 1373
Go语言使用zap日志库
盘点 Go 语言的那些日志库：你用了哪个？
EDDYCJY的博客
10-08 937
阅读本文大概需要 6 分钟。大家好，我是站长 polarisxu。Go语言是一种高性能、简洁、并发友好的编程语言，广泛用于开发各种应用程序，如网络服务、微服务、云计算、区块链等。Go语言的标准库提供了一个基本的日志包（log），可以用于记录简单的日志信息，如时间、级别、消息等。但是，如果你需要更多的功能和灵活性，例如结构化日志、日志旋转、日志钩子、日志格式化等，那么你可能需要使用第三方的日志库。在...
gin框架适配1.0以上的 sentinel-golang包
lsjweiyi的博客
02-11 1048
现在最新的go-admin web 框架发布到2.0.8版本，根据官网的指南很快就能把程序跑起来，然后我发现它使用的依赖依然没有持续更新，大部分依赖都能自己慢慢升级到最新的版本，但是唯独这个sentinel-golang，从0.6.2升级到最新的1.0.4之后，原来的引用就报错了。 在文件：“common\middleware\sentinel.go”文件中，对sentinel-golang的引用是： sentinelPlugin "github.com/alibaba/sentinel-golang/ad
go 日志库zap的使用
qq_39298872的博客
09-22 1025
Goland中使用zap日志库 运行下面的命令安装zap go get -u go.uber.org/zap 一 简单的logger实例 通过调用zap.NewProduction()/zap.NewDevelopment()或者zap.Example()创建一个Logger 在性能很好但不是很关键的上下文中，使用SugaredLogger。它比其他结构化日志记录包快4-10倍，并且支持结构化和printf风格的日志记录。 在每一微秒和每一次内存分配都很重要的上下文中，使用Logger。它甚至比S
module-logging
weixin_48799254的博客
12-07 276
简介 Python的logging模块提供了通用的日志系统，这个模块提供不同的日志级别，并可以采用不同的方式记录日志，比如文件，HTTP GET/POST，SMTP，Socket等，甚至可以自己实现方式记录日志。 #导入logging模块 import logging logging模块官方文档:https://docs.python.org/3.5/library/logging.html? logging构成 logging模块包括logger，Handler，Filter，Formatter四个部分。
golang高性能日志库zap配置示例
dz45693的专栏
01-22 1937
zap是uber开源的Go高性能日志库，gitlab地址 安装 go get -u go.uber.org/zap 请注意，zap仅支持两个最新的Go版本。 示例 简单示例 格式化输出 package main import ( "go.uber.org/zap" "time" ) func main() { // zap.NewDevelopment 格式化输出 logger, _ := zap.NewDevelopment() defer
uber zap logger使用指南
KingEasternSun的专栏
03-08 1万+
zap logger项目地址 go.uber.org/zapNewDevelopment和NewProduction区别zap.NewDevelopment() 包含代码中文件信息2018-01-18T15:40:05.991+0800 INFO tool/zaplog.go:83 to sugar failed to fetch URLurlhttp://example.c
golang有用的库及工具 之 zap.Logger包 使用
热门推荐
niyuelin1990的博客
10-25 1万+
zap.Logger  是go语言中相对日志库中性能最高的。那么如何开始使用？不多说直接上代码： import ( "encoding/json" "fmt" "log" "go.uber.org/zap" "go.uber.org/zap/zapcore" ) var Logger *zap.Logger func InitLogger() {
uber log 使用
niyuelin1990的博客
09-22 1763
log
C:\Users\xfr17\go\pkg\mod\go.uber.org\multierr@v1.10.0\error.go:224:20: undefined: atomic.Bool note: module requires Go 1.19
10-07
关于问题的报错信息"undefined: atomic.Bool"表明在该代码中使用了Go语言的atomic包中的Bool类型，但是该类型在当前的Go版本中是未定义的。根据引用中的提示，该模块要求Go版本为1.19。因此，解决该问题的方法是升级...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值