2024年最全golang日志框架之logrus(1)，2024年最新【深夜思考

最新推荐文章于 2024-05-17 00:09:24 发布
最新推荐文章于 2024-05-17 00:09:24 发布
阅读量1k 收藏 9
点赞数 8
文章标签： go 学习 面试
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84904639/article/details/138881971
版权

img
img

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

一个简单自定义hook如下，DefaultFieldHook定义会在所有级别的日志消息中加入默认字段appName="myAppName"。

type DefaultFieldHook struct {
}

func (hook \*DefaultFieldHook) Fire(entry \*log.Entry) error {
    entry.Data["appName"] = "MyAppName"
    return nil
}

func (hook \*DefaultFieldHook) Levels() []log.Level {
    return log.AllLevels
}

hook的使用也很简单，在初始化前调用log.AddHook(hook)添加相应的hook即可。

logrus官方仅仅内置了syslog的hook。
此外，但Github也有很多第三方的hook可供使用，文末将提供一些第三方HOOK的连接。

记录文件名和行号

logrus的一个很致命的问题就是没有提供文件名和行号，这在大型项目中通过日志定位问题时有诸多不便。Github上的logrus的issue#63：Log filename and line number创建于2014年，四年过去了仍是open状态~~~
网上给出的解决方案分位两类，一就是自己实现一个hook；二就是通过装饰器包装logrus.Entry。两种方案网上都有很多代码，但是大多无法正常工作。但总体来说，解决问题的思路都是对的：通过标准库的runtime模块获取运行时信息，并从中提取文件名，行号和调用函数名。

标准库runtime模块的Caller(skip int)函数可以返回当前goroutine调用栈中的文件名，行号，函数信息等，参数skip表示表示返回的栈帧的层次，0表示runtime.Caller的调用着。返回值包括响应栈帧层次的pc(程序计数器)，文件名和行号信息。为了提高效率，我们先通过跟踪调用栈发现，从runtime.Caller()的调用者开始，到记录日志的生成代码之间，大概有8到11层左右，所有我们在hook中循环第8到11层调用栈应该可以找到日志记录的生产代码。
这里写图片描述
此外，runtime.FuncForPC(pc uintptr) *Func可以返回指定pc的函数信息。
所有我们要实现的hook也是基于以上原理，使用runtime.Caller()依次循环调用栈的第7~11层，过滤掉sirupsen包内容，那么第一个非siupsenr包就认为是我们的生产代码了，并返回pc以便通过runtime.FuncForPC()获取函数名称。然后将文件名、行号和函数名组装为source字段塞到logrus.Entry中即可。

import (
	"fmt"
	log "github.com/sirupsen/logrus"
	"runtime"
	"strings"
)

// line number hook for log the call context,
type lineHook struct {
    Field  string
    // skip为遍历调用栈开始的索引位置
	Skip   int
	levels []log.Level
}

// Levels implement levels
func (hook lineHook) Levels() []log.Level {
	return log.AllLevels
}

// Fire implement fire
func (hook lineHook) Fire(entry \*log.Entry) error {
	entry.Data[hook.Field] = findCaller(hook.Skip)
	return nil
}

func findCaller(skip int) string {
	file := ""
	line := 0
	var pc uintptr
    // 遍历调用栈的最大索引为第11层.
	for i := 0; i < 11; i++ {
        file, line, pc = getCaller(skip + i)
        // 过滤掉所有logrus包，即可得到生成代码信息
		if !strings.HasPrefix(file, "logrus") {
			break
		}
	}

	fullFnName := runtime.FuncForPC(pc)

	fnName := ""
	if fullFnName != nil {
		fnNameStr := fullFnName.Name()
        // 取得函数名
		parts := strings.Split(fnNameStr, ".")
		fnName = parts[len(parts)-1]
	}

	return fmt.Sprintf("%s:%d:%s()", file, line, fnName)
}

func getCaller(skip int) (string, int, uintptr) {
	pc, file, line, ok := runtime.Caller(skip)
	if !ok {
		return "", 0, pc
	}
	n := 0

    // 获取包名
	for i := len(file) - 1; i > 0; i-- {
		if file[i] == '/' {
			n++
			if n >= 2 {
				file = file[i+1:]
				break
			}
		}
	}
	return file, line, pc
}

效果如下：

time="2018-08-11T19:10:15+08:00" level=warning msg="postgres_exporter is ready for scraping on 0.0.0.0:9295..." source="postgres_exporter/main.go:60:main()"
time="2018-08-11T19:10:17+08:00" level=error msg="!!!msb info not found" source="postgres/postgres_query.go:63:QueryPostgresInfo()"
time="2018-08-11T19:10:17+08:00" level=error msg="get postgres instances info failed, scrape metrics failed, error:msb env not found" source="collector/exporter.go:71:Scrape()"

日志本地文件分割

logrus本身不带日志本地文件分割功能，但是我们可以通过file-rotatelogs进行日志本地文件分割。 每次当我们写入日志的时候，logrus都会调用file-rotatelogs来判断日志是否要进行切分。关于本地日志文件分割的例子网上很多，这里不再详细介绍，奉上代码：

import (
	"github.com/lestrrat-go/file-rotatelogs"
	"github.com/rifflock/lfshook"
	log "github.com/sirupsen/logrus"
	"time"
)

func newLfsHook(logLevel \*string, maxRemainCnt uint) log.Hook {
	writer, err := rotatelogs.New(
        logName+".%Y%m%d%H",
        // WithLinkName为最新的日志建立软连接，以方便随着找到当前日志文件
        rotatelogs.WithLinkName(logName),
        
        // WithRotationTime设置日志分割的时间，这里设置为一小时分割一次
        rotatelogs.WithRotationTime(time.Hour),
        
        // WithMaxAge和WithRotationCount二者只能设置一个，
        // WithMaxAge设置文件清理前的最长保存时间，
        // WithRotationCount设置文件清理前最多保存的个数。
		//rotatelogs.WithMaxAge(time.Hour\*24),
		rotatelogs.WithRotationCount(maxRemainCnt),
	)

	if err != nil {
		log.Errorf("config local file system for logger error: %v", err)
	}

	level, ok := logLevels[\*logLevel]

	if ok {
		log.SetLevel(level)
	} else {
		log.SetLevel(log.WarnLevel)
	}

	lfsHook := lfshook.NewHook(lfshook.WriterMap{
		log.DebugLevel: writer,
		log.InfoLevel:  writer,
		log.WarnLevel:  writer,
		log.ErrorLevel: writer,
		log.FatalLevel: writer,
		log.PanicLevel: writer,
	}, &log.TextFormatter{DisableColors: true})

	return lfsHook
}

使用上述本地日志文件切割的效果如下：
这里写图片描述

将日志发送到elasticsearch

将日志发送到elasticsearch是很多日志监控系统的选择，将logrus日志发送到elasticsearch的原理是在hook的每次fire调用时，使用golang的es客户端将日志信息写到elasticsearch。elasticsearch官方没有提供golang客户端，但是有很多第三方的go语言客户端可供使用，我们选择elastic。elastic提供了丰富的文档，以及Java中的流式接口，使用起来非常方便。

client, err := elastic.NewClient(elastic.SetURL("http://localhost:9200"))
	if err != nil {
		log.Panic(err)
    }

// Index a tweet (using JSON serialization)
tweet1 := Tweet{User: "olivere", Message: "Take Five", Retweets: 0}
put1, err := client.Index().
    Index("twitter").
    Type("tweet").
    Id("1").
    BodyJson(tweet1).
    Do(context.Background())

考虑到logrus的Fields机制，可以实现如下数据格式：

msg := struct {
	Host      string
	Timestamp string `json:"@timestamp"`
	Message   string
	Data      logrus.Fields
	Level     string
}

其中Host记录产生日志主机信息，在创建hook是指定。其他数据需要从logrus.Entry中取得。测试过程我们选择按照此原理实现的第三方HOOK：elogrus。其使用如下：

import (
    "github.com/olivere/elastic"
	"gopkg.in/sohlich/elogrus"
)

func initLog() {
    client, err := elastic.NewClient(elastic.SetURL("http://localhost:9200"))
    if err != nil {
        log.Panic(err)
    }
    hook, err := elogrus.NewElasticHook(client, "localhost", log.DebugLevel, "mylog")
    if err != nil {
        log.Panic(err)
    }
    log.AddHook(hook)
}

从Elasticsearch查询得到日志存储，效果如下：

GET http://localhost:9200/mylog/_search

HTTP/1.1 200 OK
content-type: application/json; charset=UTF-8
transfer-encoding: chunked

{
  "took": 1,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "failed": 0
  },
  "hits": {
    "total": 2474,
    "max_score": 1.0,
    "hits": [
      {
        "_index": "mylog",
        "_type": "log",
        "_id": "AWUw13jWnMZReb-jHQup",
        "_score": 1.0,
        "_source": {
          "Host": "localhost",
          "@timestamp": "2018-08-13T01:12:32.212818666Z",
          "Message": "!!!msb info not found",
          "Data": {},
          "Level": "ERROR"
        }
      },
      {
        "_index": "mylog",
        "_type": "log",
        "_id": "AWUw13jgnMZReb-jHQuq",
        "_score": 1.0,
        "_source": {
          "Host": "localhost",
          "@timestamp": "2018-08-13T01:12:32.223103348Z",
          "Message": "get postgres instances info failed, scrape metrics failed, error:msb env not found",
          "Data": {
            "source": "collector/exporter.go:71:Scrape()"
          },
          "Level": "ERROR"
        }
      },
      //...
      {
        "_index": "mylog",
        "_type": "log",
        "_id": "AWUw2f1enMZReb-jHQu_",
        "_score": 1.0,
        "_source": {
          "Host": "localhost",
          "@timestamp": "2018-08-13T01:15:17.212546892Z",
          "Message": "!!!msb info not found",
          "Data": {
            "source": "collector/exporter.go:71:Scrape()"
          },
          "Level": "ERROR"
        }
      },
      {
        "_index": "mylog",
        "_type": "log",
        "_id": "AWUw2NhmnMZReb-jHQu1",
        "_score": 1.0,
        "_source": {
          "Host": "localhost",
          "@timestamp": "2018-08-13T01:14:02.21276903Z",
          "Message": "!!!msb info not found",
          "Data": {},
          "Level": "ERROR"
        }
      }
    ]
  }
}

Response code: 200 (OK); Time: 16ms; Content length: 3039 bytes

将日志发送到其他位置

将日志发送到日志中心也是logrus所提倡的，虽然没有提供官方支持，但是目前Github上有很多第三方hook可供使用：

等等，上述第三方hook我这里没有具体验证，大家可以根据需要自行尝试。

img
img

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

。

等等，上述第三方hook我这里没有具体验证，大家可以根据需要自行尝试。

[外链图片转存中…(img-5ApkjMNI-1715714953539)]
[外链图片转存中…(img-sRo92mUK-1715714953540)]

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

2401_84904639
关注
  • 8
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
logrus使用进阶
tinysakura的博客
08-30 2114
文件名与行号 logrus的一个很致命的问题就是没有提供文件名和行号，这在大型项目中通过日志定位问题时有诸多不便。Github上的logrus的issue#63：Log filename and line number创建于2014年，四年过去了仍是open状态~~~ 网上给出的解决方案分位两类，一就是自己实现一个hook；二就是通过装饰器包装logrus.Entry。两种方案网上都有很多代码，但...
logrus的使用
qq_40896095的博客
07-12 725
logrus的初始化启动，详细使用 今天也是初次接触这个组件，来进行日志存储，自己也是俺就半天，想要所有的错误日志放到一个错误日志中，所首先创建一个日志文件。 自己也是没有找到相关的官方文档，就在gitee上直接查看的文档， 初始创建 package log import ( "fmt" "github.com/sirupsen/logrus" "os" "time" ) var log = logrus.New() func Init() { file,err := os.OpenFile
2024年Go最全golang日志框架之logrus，0基础学Golang
最新发布
2401_84924864的博客
05-17 847
logrus的一个很致命的问题就是没有提供文件名和行号，这在大型项目中通过日志定位问题时有诸多不便。的调用者开始，到记录日志的生成代码之间，大概有8到11层左右，所有我们在hook中循环第8到11层调用栈应该可以找到日志记录的生产代码。logrus最令人心动的功能就是其可扩展的HOOK机制了，通过在初始化时为logrus添加hook，logrus可以实现各种扩展功能。函数可以返回当前goroutine调用栈中的文件名，行号，函数信息等，参数skip表示表示返回的栈帧的层次，0表示。进行日志本地文件分割。
go语言日志框架——logrus
尚墨1111的博客
08-04 4319
go日志输出工具logrus
【Golang】关于Go中logrus的用法
Ch3nnn的博客
05-16 4637
一、标准日志库log 在日常开发中，日志是必不可少的功能。虽然有时可以用fmt库输出一些信息，但是灵活性不够。Go 标准库提供了一个日志库log。 1、快速使用 log是 Go 标准库提供的，不需要另外安装 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21
golang日志框架之logrus
热门推荐
jacklife的博客
08-14 8万+
本文转载自姜总 golang日志库 golang标准库的日志框架非常简单，仅仅提供了print，panic和fatal三个函数对于更精细的日志级别、日志文件分割以及日志分发等方面并没有提供支持。所以催生了很多第三方的日志库，但是在golang的世界里，没有一个日志库像slf4j那样在Java中具有绝对统治地位。golang中，流行的日志框架包括logrus、zap、zerolog、seelog...
Go日志库——logrus
成长之路
07-17 4211
go日志库学习-logrus
Golang 日志库 logrus 快速上手
Dablelv 的博客专栏。
02-16 2491
这个包有几个函数：Print、Printf、Println、Fatal、Fatalf、Fatalln、Panic、Panicf、Panicln，可以满足大部分日志的打印和处理需求。zap是Uber开源的一款高性能日志库，它支持多种日志级别和输出方式，包括console、json、file等等。在实际开发过程中，为了节省磁盘和方便查看，日志需要按照时间或者大小维度进行切割分成多分归档过期的日志，删除久远的日志.这个就是在日常开发中经常遇见的日志滚动(log rotation)。
golang日志框架之logrus的使用
09-18
`logrus`之所以受欢迎，是因为它提供了丰富的功能，包括不同的日志级别、自定义日志格式、Hook机制以及结构化的日志记录。与Go标准库中的`log`包相比，`logrus`提供了更高级别的控制和定制能力。 首先，`logrus`...
Golang logrus 日志包及日志切割的实现
09-17
主要介绍了Golang logrus 日志包及日志切割的实现,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
Golang mac系统最新版安装包 2021年12月版本号1.17.5
12-18
Golang mac系统最新版安装包 2021年12月版本号1.17.5 苹果系统专用，支持big mon系统
2023年最新Golang入门介绍.md
03-19
1. Golang简介 介绍了Golang语言的起源、发展历程以及主要特点,如天生支持并发、语法简单、部署维护成本低等。 2. Golang应用领域 列举了Golang可以应用的一些主要领域,如服务器编程、开发云平台、区块链、分布式...
Golang log日志以及日志框架logrus
啊阿啊啊啊杨的博客
06-13 2019
logrus是目前github上star数量最多的日志库。logrus功能强大，性能高效，而且具备高度灵活性，logrus是一个可插拔的，结构化的日志框架，提供了自定义插件的功能，如docker prometheus等，都是用了logrus来记录日志。
在golang中推荐一款灵活高性能的日志库
lxw1844912514的博客
10-29 1350
一、标准日志库log在日常开发中，日志是必不可少的功能。虽然有时可以用fmt库输出一些信息，但是灵活性不够。Go 标准库提供了一个日志库log。1、快速使用log是 Go 标准库提供的，不需要另外安装packagemain import( "log" ) typeUserstruct{ Namestring Ageint } funcmain(){ ...
golang——工程组件logrus日志记录框架（结构化记录，支持文件切割，hook）
qq_43058348的博客
10-21 742
golang日志记录框架logrus
Go语言日志库logrus
YIYIYI
06-05 1506
Go语言日志库logrus
Golang log日志框架logrus
geek99_guo的博客
03-19 133
logrus是目前Github上star数量最多的日志库。logrus功能强大，性能高效，而且具有高度灵活性，logrus是一个可插拔的、结构化的日志框架，提供了自定义插件的功能。很多开源项目，如docker，prometheus等，都是用了logrus来记录其日志。
Golang 库 - 日志库 logrus
IoT小能手
02-27 2310
Logrus 最大的特色是结构化日志记录，可以携带field；另外结合 hook 可以实现非常灵活的日志分发和内容调整。
Golang最新的框架
05-31
Golang 社区中有很多优秀的框架，以下是目前比较流行的几个： 1. Gin：一个高性能的 Web 框架，提供了简单易用的路由和中间件功能。 2. Echo：一个快速的 Web 框架，易于学习和使用，提供了类似于 Gin 的路由和中间件功能。 3. Beego：一个全功能的 Web 框架，提供了模板引擎、ORM、session 等一系列功能。 4. Iris：一个高性能的 Web 框架，提供了强大的路由和中间件功能，支持 Websocket 等高级特性。 5. Buffalo：一个基于 Rails 风格的 Web 框架，提供了自动化的代码生成和部署功能。 6. Kratos：一个轻量级的微服务框架，提供了服务注册和发现、配置中心、限流等一系列功能。 这些框架都有各自的特点和优势，选择合适的框架需要根据具体的需求和使用场景来确定。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值