1. 创建目录结构
(1)conf:存放配置文件
(2)controller:路由请求处理
(3)logic:业务逻辑处理
(4)dao:数据库操作及数据库初始化
(5)setting:读取conf目录下的配置文件配置信息
(6)logger:zap日志及日志归档
(7)log:存放日志信息文件
(8)pkg:存放一些工具
(9)model:存放数据库、请求的一些结构体
(10)middleware:存放接口的中间件
2.配置项目的自动导入和代理路径
(1)配置代理路径
https://goproxy.cn,direct为七牛云的镜像,可以提高下载第三方依赖速度
(2)配置自动导入和自动格式化
go fmt:自动格式化
goimports:自动导入
如不能直接添加,则下载后配置
3.新建配置文件及配置文件读取
3.1 配置文件
// conf/config.yaml配置文件
app: name: "blog_api" mode: "dev" port: 3000
3.2 使用viper读取配置文件配置信息
// setting/setting.go
package setting import ( "fmt" "github.com/fsnotify/fsnotify" "github.com/spf13/viper" ) //定义conf全局变量,用来保存程序所有的配置信息 var Conf = new(Config) type Config struct { *AppConfig `mapstructure:"app"` } type AppConfig struct { Name string `mapstructure:"name"` Mode string `mapstructure:"mode"` Port int64 `mapstructure:"port"` } func Init(filePath string) (err error) { // 导入viper读取配置文件 // 1. 配置文件类型 viper.SetConfigType("yaml") // 2.配置文件的路径 // 2.1:直接指定配置文件的路径 // 相对路径:相对路径的可执行文件的相对路径 // 绝对路径:系统中实际的文件路径 //viper.SetConfigFile("./conf/config.yaml") // 2.2:指定配置文件名和配置文件的加载路径,viper自行查找可用的配置文件 // 2.2.1 配置文件名 //viper.SetConfigName("config") // 2.2.2 配置文件路径 //viper.AddConfigPath("./conf") // 2.3:使用命令行输入指定配置文件目录 viper.SetConfigFile(filePath) // 3.读取配置文件 err = viper.ReadInConfig() if err != nil { //读取配置信息失败 fmt.Printf("viper.ReadInConfig() failed...err=%v\n", err) return err } // 4.将配置信息反序列化到相应变量上 if err = viper.Unmarshal(Conf); err != nil { fmt.Printf("viper.Unmarshal failed...err=%v\n", err) return err } // 5.监听并重新读取配置文件 viper.WatchConfig() // 监听配置文件 viper.OnConfigChange(func(e fsnotify.Event) { // 配置文件发生变更后会调用的回调函数 fmt.Println("Config file changed...", e.Name) viper.Unmarshal(Conf) }) fmt.Printf("reading config success...info:%v\nAppConfig:%v\n", Conf, Conf.AppConfig) return nil }
4. 在配置文件中初始化配置信息
// main.go
package main import ( "blog_api/setting" "fmt" "os" ) func main() { // 1.读取配置文件 if len(os.Args) < 2 { fmt.Println("need config file.eg:blog_api config.yaml") return } if err := setting.Init(os.Args[1]); err != nil { fmt.Println("reading config file failed by viper...err=%v\n", err) return } }
注释:这里读取配置文件采用的是直接指定配置文件路径,并结合args实现命令行指定配置文件路径
5.配置zap日志到gin框架
5.1 配置文件config.yaml中添加日志模块相关的配置信息
// conf/config.yaml
app: name: "blog_api" mode: "dev" port: 3000 log: level: "debug" filename: "./log/log.log" max_size: 200 max_backups: 5 max_age: 30
5.2 存放配置文件的结构体增加相应信息
// setting/setting.go
package setting import ( "fmt" "github.com/fsnotify/fsnotify" "github.com/spf13/viper" ) //定义conf全局变量,用来保存程序所有的配置信息 var Conf = new(Config) type Config struct { *AppConfig `mapstructure:"app"` *LoggerConfig `mapstructure:"log"` } type AppConfig struct { Name string `mapstructure:"name"` Mode string `mapstructure:"mode"` Port int64 `mapstructure:"port"` } type LoggerConfig struct { Level string `mapstructure:"level"` Filename string `mapstructure:"filename"` MaxSize int `mapstructure:"max_size"` MaxBackups int `mapstructure:"max_backups"` MaxAge int `mapstructure:"max_age"` } func Init(filePath string) (err error) { // 导入viper读取配置文件 // 1. 配置文件类型 viper.SetConfigType("yaml") // 2.配置文件的路径 // 2.1:直接指定配置文件的路径 // 相对路径:相对路径的可执行文件的相对路径 // 绝对路径:系统中实际的文件路径 //viper.SetConfigFile("./conf/config.yaml") // 2.2:指定配置文件名和配置文件的加载路径,viper自行查找可用的配置文件 // 2.2.1 配置文件名 //viper.SetConfigName("config") // 2.2.2 配置文件路径 //viper.AddConfigPath("./conf") // 2.3:使用命令行输入指定配置文件目录 viper.SetConfigFile(filePath) // 3.读取配置文件 err = viper.ReadInConfig() if err != nil { //读取配置信息失败 fmt.Printf("viper.ReadInConfig() failed...err=%v\n", err) return err } // 4.将配置信息反序列化到相应变量上 if err = viper.Unmarshal(Conf); err != nil { fmt.Printf("viper.Unmarshal failed...err=%v\n", err) return err } // 5.监听并重新读取配置文件 viper.WatchConfig() // 监听配置文件 viper.OnConfigChange(func(e fsnotify.Event) { // 配置文件发生变更后会调用的回调函数 fmt.Println("Config file changed...", e.Name) viper.Unmarshal(Conf) }) fmt.Printf("reading config success...info:%v\nAppConfig:%v\nLoggerConfig:%v\n", Conf, Conf.AppConfig, Conf.LoggerConfig) return nil }
5.3 logger文件配置相关信息
package logger import ( "blog_api/setting" "fmt" "os" "github.com/natefinch/lumberjack" "go.uber.org/zap" "go.uber.org/zap/zapcore" ) var lg *zap.Logger // Init 初始化logger func Init(cfg *setting.LoggerConfig, mode string) (err error) { encoder := getEncoder() writeSyncer := getLogWriter(cfg) var l = new(zapcore.Level) if err = l.UnmarshalText([]byte(cfg.Level)); err != nil { return err } var core zapcore.Core fmt.Println("mode=", mode) if mode == "dev" { //开发模式,日志输出到终端 consoleEncoder := zapcore.NewConsoleEncoder(zap.NewDevelopmentEncoderConfig()) core = zapcore.NewTee( zapcore.NewCore(encoder, writeSyncer, l), zapcore.NewCore(consoleEncoder, zapcore.Lock(os.Stdout), zapcore.DebugLevel), ) } else { core = zapcore.NewCore(encoder, writeSyncer, l) } // zap.AddCaller() 获取调用的文件、函数名,行号 lg = zap.New(core, zap.AddCaller()) // 替换zap中全局的logger zap.ReplaceGlobals(lg) zap.L().Info("init logger success!") return nil } // 1.配置Encoder:编码器,如何写入日志 func getEncoder() zapcore.Encoder { encoderConfig := zap.NewProductionEncoderConfig() encoderConfig.EncodeTime = zapcore.ISO8601TimeEncoder //encoderConfig.EncodeLevel = zapcore.CapitalLevelEncoder return zapcore.NewJSONEncoder(encoderConfig) } // 2.使用lumberjack配置writeSyncer和日志归档 func getLogWriter(cfg *setting.LoggerConfig) zapcore.WriteSyncer { lumberJackLogger := &lumberjack.Logger{ Filename: "./log/log.log", MaxSize: cfg.MaxSize, MaxBackups: cfg.MaxBackups, MaxAge: cfg.MaxAge, } return zapcore.AddSync(lumberJackLogger) }
// Ginlogger 接收gin框架默认的日志——中间件 func Ginlogger() gin.HandlerFunc { return func(c *gin.Context) { start := time.Now() path := c.Request.URL.Path query := c.Request.URL.RawQuery c.Next() cost := time.Since(start) zap.L().Info(path, zap.Int("status", c.Writer.Status()), zap.String("method", c.Request.Method), zap.String("path", path), zap.String("query", query), zap.String("ip", c.ClientIP()), zap.String("user-agent", c.Request.UserAgent()), zap.String("errors", c.Errors.ByType(gin.ErrorTypePrivate).String()), zap.Duration("cost", cost), ) } } // GinRecovery recover掉项目可能出现的panic,并使用zap记录相关日志 func GinRecovery(stack bool) gin.HandlerFunc { return func(c *gin.Context) { defer func() { if err := recover(); err != nil { // Check for a broken connection, as it is not really a // condition that warrants a panic stack trace. var brokenPipe bool if ne, ok := err.(*net.OpError); ok { if se, ok := ne.Err.(*os.SyscallError); ok { if strings.Contains(strings.ToLower(se.Error()), "broken pipe") || strings.Contains(strings.ToLower(se.Error()), "connection reset by peer") { brokenPipe = true } } } httpRequest, _ := httputil.DumpRequest(c.Request, false) if brokenPipe { zap.L().Error(c.Request.URL.Path, zap.Any("error", err), zap.String("request", string(httpRequest)), ) // If the connection is dead, we can't write a status to it. c.Error(err.(error)) // nolint: errcheck c.Abort() return } if stack { zap.L().Error("[Recovery from panic]", zap.Any("error", err), zap.String("request", string(httpRequest)), zap.String("stack", string(debug.Stack())), ) } else { zap.L().Error("[Recovery from panic]", zap.Any("error", err), zap.String("request", string(httpRequest)), ) } c.AbortWithStatus(http.StatusInternalServerError) } }() c.Next() } }
5.4 自定义gin框架默认日志中间件
// routes/routes.go
package routes import ( "blog_api/logger" "net/http" "github.com/gin-gonic/gin" ) func Setup(mode string) *gin.Engine { if mode == gin.ReleaseMode { gin.SetMode(gin.ReleaseMode) // gin设置成发布模式,可以去除一些不必要的控制台输出 } r := gin.New() // 配置gin框架默认的日志中间件 r.Use(logger.Ginlogger(), logger.GinRecovery(true)) r.NoRoute(func(c *gin.Context) { c.JSON(http.StatusNotFound, gin.H{ "msg": "404", }) }) return r }
5.5 初始化日志配置、并配置优雅关机
// main.go
package main import ( "blog_api/logger" "blog_api/routes" "blog_api/setting" "context" "fmt" "net/http" "os" "os/signal" "syscall" "time" "go.uber.org/zap" ) func main() { // 1.初始化配置文件 if len(os.Args) < 2 { fmt.Println("need config file.eg:blog_api config.yaml") return } if err := setting.Init(os.Args[1]); err != nil { fmt.Println("reading config file failed by viper...err=%v\n", err) return } // 2.初始化zap日志 if err := logger.Init(setting.Conf.LoggerConfig, setting.Conf.AppConfig.Mode); err != nil { zap.L().Error("init logger failed...", zap.Error(err)) return } defer zap.L().Sync() // 将缓存中的日志同步到日志文件中 zap.L().Debug("init logger success!") // 注册路由 r := routes.Setup(setting.Conf.AppConfig.Mode) // 启动服务(配置优雅关机) srv := &http.Server{ Addr: fmt.Sprintf(":%d", setting.Conf.AppConfig.Port), Handler: r, } // 等待中断信号来优雅地关闭服务器,为关闭服务器操作设置一个5秒的超时 quit := make(chan os.Signal, 1) // 创建一个接收信号的通道 // kill 默认会发送 syscall.SIGTERM 信号 // kill -2 发送 syscall.SIGINT 信号,我们常用的Ctrl+C就是触发系统SIGINT信号 // kill -9 发送 syscall.SIGKILL 信号,但是不能被捕获,所以不需要添加它 // signal.Notify把收到的 syscall.SIGINT或syscall.SIGTERM 信号转发给quit signal.Notify(quit, syscall.SIGINT, syscall.SIGTERM) // 此处不会阻塞 <-quit // 阻塞在此,当接收到上述两种信号时才会往下执行 zap.L().Info("Shutdown Server ...") // 创建一个5秒超时的context ctx, cancel := context.WithTimeout(context.Background(), 5*time.Second) defer cancel() // 5秒内优雅关闭服务(将未处理完的请求处理完再关闭服务),超过5秒就超时退出 if err := srv.Shutdown(ctx); err != nil { zap.L().Fatal("Server Shutdown", zap.Error(err)) } zap.L().Info("Server exiting") }
6.配置mysql
6.1 配置mysql连接及关闭方法
// dao/mysql/mysql.go
package mysql import ( "blog_api/setting" "fmt" _ "github.com/go-sql-driver/mysql" "github.com/jmoiron/sqlx" ) var db *sqlx.DB func Init(cfg *setting.MySQLConfig) (err error) { dsn := fmt.Sprintf("%s:%s@tcp(%s:%d)/%s?charset=utf8mb4&parseTime=True", cfg.User, cfg.Password, cfg.Host, cfg.Port, cfg.DBName, ) db, err = sqlx.Connect("mysql", dsn) // sqlx.Connect会自动ping,检验是否连接成功 if err != nil { return err } db.SetMaxOpenConns(cfg.MaxOpenConns) // 设置连接池最大链接数量 db.SetMaxIdleConns(cfg.MaxIdleConns) // 设置连接池中最大闲置链接数量 return nil } // Close 关闭MySQL连接 func Close() { _ = db.Close() }
6.2 在main.go中初始化mysql配置
package main import ( "blog_api/dao/mysql" "blog_api/logger" "blog_api/routes" "blog_api/setting" "context" "fmt" "net/http" "os" "os/signal" "syscall" "time" "go.uber.org/zap" ) func main() { // 1.初始化配置文件 if len(os.Args) < 2 { fmt.Println("need config file.eg:blog_api config.yaml") return } if err := setting.Init(os.Args[1]); err != nil { fmt.Println("reading config file failed by viper...err=%v\n", err) return } // 2.初始化zap日志 if err := logger.Init(setting.Conf.LoggerConfig, setting.Conf.AppConfig.Mode); err != nil { fmt.Println("init logger failed... err=%v", err) return } defer zap.L().Sync() // 将缓存中的日志同步到日志文件中 zap.L().Debug("init logger success!") // 3.初始化mysql if err := mysql.Init(setting.Conf.MySQLConfig); err != nil { zap.L().Error("init mysql failed...", zap.Error(err)) return } defer mysql.Close() zap.L().Debug("init mysql success") // 注册路由 r := routes.Setup(setting.Conf.AppConfig.Mode) // 启动服务(配置优雅关机) srv := &http.Server{ Addr: fmt.Sprintf(":%d", setting.Conf.AppConfig.Port), Handler: r, } // 等待中断信号来优雅地关闭服务器,为关闭服务器操作设置一个5秒的超时 quit := make(chan os.Signal, 1) // 创建一个接收信号的通道 // kill 默认会发送 syscall.SIGTERM 信号 // kill -2 发送 syscall.SIGINT 信号,我们常用的Ctrl+C就是触发系统SIGINT信号 // kill -9 发送 syscall.SIGKILL 信号,但是不能被捕获,所以不需要添加它 // signal.Notify把收到的 syscall.SIGINT或syscall.SIGTERM 信号转发给quit signal.Notify(quit, syscall.SIGINT, syscall.SIGTERM) // 此处不会阻塞 <-quit // 阻塞在此,当接收到上述两种信号时才会往下执行 zap.L().Info("Shutdown Server ...") // 创建一个5秒超时的context ctx, cancel := context.WithTimeout(context.Background(), 5*time.Second) defer cancel() // 5秒内优雅关闭服务(将未处理完的请求处理完再关闭服务),超过5秒就超时退出 if err := srv.Shutdown(ctx); err != nil { zap.L().Fatal("Server Shutdown", zap.Error(err)) } zap.L().Info("Server exiting") }
7.配置redis
7.1 配置redis连接池及关闭
// dao/redis/redis.go
package redis import ( "blog_api/setting" "fmt" "time" "github.com/garyburd/redigo/redis" "go.uber.org/zap" ) var pool *redis.Pool func Init(cfg *setting.RedisConfig) { pool = &redis.Pool{ Dial: func() (redis.Conn, error) { var addr = fmt.Sprintf("%s:%d", cfg.Host, cfg.Port) conn, err := redis.Dial("tcp", addr) if err != nil { zap.L().Error("init reids failed...", zap.Error(err)) return nil, err } zap.L().Debug("init redis success") return conn, nil }, MaxActive: cfg.MaxActive, // 最大空闲连接数 MaxIdle: cfg.MaxIdle, // 表示和数据库的最大链接数,0表示没有限制 IdleTimeout: time.Duration(cfg.IdleTimeout), // 最大空闲时间,在100s内没有使用这个链接,就自动放回空闲链接数中 } } func Close() { pool.Close() // 关闭链接池,一旦关闭链接池就不能够再从链接池中再去链接了 }
7.2 在main.go中初始化redis
package main import ( "blog_api/dao/mysql" "blog_api/dao/redis" "blog_api/logger" "blog_api/routes" "blog_api/setting" "context" "fmt" "net/http" "os" "os/signal" "syscall" "time" "go.uber.org/zap" ) func main() { // 1.初始化配置文件 if len(os.Args) < 2 { fmt.Println("need config file.eg:blog_api config.yaml") return } if err := setting.Init(os.Args[1]); err != nil { fmt.Println("reading config file failed by viper...err=%v\n", err) return } // 2.初始化zap日志 if err := logger.Init(setting.Conf.LoggerConfig, setting.Conf.AppConfig.Mode); err != nil { fmt.Println("init logger failed... err=%v", err) return } defer zap.L().Sync() // 将缓存中的日志同步到日志文件中 zap.L().Debug("init logger success!") // 3.初始化mysql if err := mysql.Init(setting.Conf.MySQLConfig); err != nil { zap.L().Error("init mysql failed...", zap.Error(err)) return } defer mysql.Close() zap.L().Debug("init mysql success") //4.初始化redis redis.Init(setting.Conf.RedisConfig) // 初始化redis defer redis.Close() // 注册路由 r := routes.Setup(setting.Conf.AppConfig.Mode) // 启动服务(配置优雅关机) srv := &http.Server{ Addr: fmt.Sprintf(":%d", setting.Conf.AppConfig.Port), Handler: r, } // 等待中断信号来优雅地关闭服务器,为关闭服务器操作设置一个5秒的超时 quit := make(chan os.Signal, 1) // 创建一个接收信号的通道 // kill 默认会发送 syscall.SIGTERM 信号 // kill -2 发送 syscall.SIGINT 信号,我们常用的Ctrl+C就是触发系统SIGINT信号 // kill -9 发送 syscall.SIGKILL 信号,但是不能被捕获,所以不需要添加它 // signal.Notify把收到的 syscall.SIGINT或syscall.SIGTERM 信号转发给quit signal.Notify(quit, syscall.SIGINT, syscall.SIGTERM) // 此处不会阻塞 <-quit // 阻塞在此,当接收到上述两种信号时才会往下执行 zap.L().Info("Shutdown Server ...") // 创建一个5秒超时的context ctx, cancel := context.WithTimeout(context.Background(), 5*time.Second) defer cancel() // 5秒内优雅关闭服务(将未处理完的请求处理完再关闭服务),超过5秒就超时退出 if err := srv.Shutdown(ctx); err != nil { zap.L().Fatal("Server Shutdown", zap.Error(err)) } zap.L().Info("Server exiting") }
7.3 配置完redis后启动服务
配置完redis连接池方法后启动服务,首先得开启redis,我这里使用的是windows版的redis,可以去官网下,如下图,直接双击启动即可。cli启动后的端口为我这里redis初始化连接的redis端口号
启动服务后,看不到redis里执行的zap.L().Debug方法中的日志信息,是因为并未开启一个redis链接,这里不多做演示。 可以通过开启一个链接测试。
自此,一个简单的go脚手架基本搭建完成,后续可以再加入jwt、自定义go内置的validator验证的翻译等...