较通用web脚手架模板搭建

较通用web脚手架模板搭建

从这里开始就接触到以后写项目的思维了。

做一个web开发，那就要层次分明，要有个实现的规划，这通常也是有一个较为通用的模板的。

总的来说：不同的层次有不同的模块，每个模块有必须实现的功能，我们要做的就是填充每个模块。也就是每个模块就相当于给你需求，然后你用代码去把这些需求给实现，这就是做项目的过程。

内容层次划分

main函数（入口）
//1.加载配置文件

//2.日志初始化

//3.初始化mysql连接

//4.初始化redis连接

//5.注册路由

//6.启动服务

从这个地方作为项目的出发去构建，以上面的内容为框架模板来开发。

---

接下来一个个模块的讲

1.加载配置文件

这个模块的实现：利用viper来管理我们的配置文件。
这里的话我们就可以建两个模块，一个模块叫settings，就是作为我们的viper的操作配置。另一个模块叫conf，专门用来存放配置文件。
代码实现：
**现在的目标就是要在settings中去使用viper去管理这个配置文件config。
**

那就建一个conf文件夹，我们通常都用文件夹来作为模块 。
这个模块就用于存放我的配置文件。
建一个文件夹settings用于做viper的相关配置。

关于配置文件，那就是里面放了我整个web应用里面用的的所有的配置项信息。
类似这样的：

这用的是yaml格式。当然json格式也是可以的。

关于viper管理配置文件：
我个人总结逻辑实现分为两部分：
1.将viper与配置文件进行绑定，然后将配置文件读入viper中。
2.配置viper监控配置文件（这样的好处是当我们修改了配置文件，那可以使得我们的程序可以与修改后的配置文件进行同步）

package settings

import (
	"fmt"

	"github.com/fsnotify/fsnotify"

	"github.com/spf13/viper"
)

func Init() (err error) {
	viper.SetConfigFile("./conf/config.yaml")//设置目标配置文件的路径
	err = viper.ReadInConfig()//配置文件读入到viper
	if err != nil {
		fmt.Printf("viper.ReadInConfig() failed,err:%v\n", err)
		return
	}

	viper.WatchConfig()//启动监控
	viper.OnConfigChange(func(in fsnotify.Event) {//这个相当于钩子函数。
	//当配置文件被修改的时候，这个函数就会被调用，在这里你就可以实现当配置文件被修改了，你可以进行一些处理。后面会进一步说明。
		fmt.Println("配置文件修改了...")
	})
	return
}

接下来就是main函数
这两个模块模块配置好了。那肯定要在main函数进行总体的启动：

// 1.加载配置文件
	if err := settings.Init(); err != nil {
		fmt.Printf("init settings failed,err:%v\n", err)
		return
	}

启动也很简单，就是直接调用这个模块就可以了。

2.日志初始化

接下来实现的就是日志模块
那就先建一个文件夹，logger，里面的函数实现logger的配置，这里我使用的是zap日志库，不用go原生的日志库。

package logger

import (
	"net"
	"net/http"
	"net/http/httputil"
	"os"
	"runtime/debug"
	"strings"
	"time"

	"github.com/spf13/viper"

	"github.com/gin-gonic/gin"
	"github.com/natefinch/lumberjack"
	"go.uber.org/zap"
	"go.uber.org/zap/zapcore"
)

var lg *zap.Logger //这是一个全局的logger，也就是说你在外部可以通过这个在Logger模块下创建的logger，你就等于可以使用zap.Logger日志库了。
//但是我们这里并不是这样做，原因就是麻烦，因为你要用这个日志库那么就要这么调用logger.lg这样，如果在有些场景下你的文件夹有很多层，那你要一层一层的调。
//这里我们用zap.ReplaceGloabls会更加方便，将在下面的代码说到。


// 初始化Logger
func Init() (err error) {
	//核心是下面的zap.New()就可以创建logger。
	//上面这些内容全是logger的参数配置项。
	//用于定义日志消息的输出目标和方式，定义日志的文件名称，日志的最大大小，日志的最大备份数量，日志的最大保存天数。
	writeSyncer := getLogWriter(viper.GetString("log.filename"),
		viper.GetInt("log.max_size"),
		viper.GetInt("log.max_backups"),
		viper.GetInt("log.max_age"))
	//这个就是定义日志的编码方式，也就是定义日志输出的具体字段和格式。
	encoder := getEncoder()
	//设置日志的级别，
	var l = new(zapcore.Level)
	//这个将配置项反序列化给l作为日志登记传入下面的core
	err = l.UnmarshalText([]byte(viper.GetString("log.level")))
	if err != nil {
		return
	}
	//这个是构造核心，需要上面定义的三个参数
	core := zapcore.NewCore(encoder, writeSyncer, l)
	//这段代码才是创建logger，参数要传core。
	lg = zap.New(core, zap.AddCaller())
	//这个函数实现了全局替换，这样可以实现在任意一个包下调logger的更方便的方式。只需要调用zap.L()就可以拿到这个全局的logger。zap.AddCaller()是显示日志在那行调用。
	zap.ReplaceGlobals(lg) // 替换zap包中全局的logger实例，后续在其他包中只需使用zap.L()调用即可
	return
}

//这个看看源码就知道了，这就是个Encoder的配置项。
//这个的核心关键在于zapcore.NewJsonEncoder,用的json的编码方式。然后传的参数都是一些配置项。返回值是一个编码器，就是构建一个最基础的编码配置，然后传入构建。
func getEncoder() zapcore.Encoder {
	encoderConfig := zap.NewProductionEncoderConfig()
	encoderConfig.EncodeTime = zapcore.ISO8601TimeEncoder
	encoderConfig.TimeKey = "time"
	encoderConfig.EncodeLevel = zapcore.CapitalLevelEncoder
	encoderConfig.EncodeDuration = zapcore.SecondsDurationEncoder
	encoderConfig.EncodeCaller = zapcore.ShortCallerEncoder
	return zapcore.NewJSONEncoder(encoderConfig)
}

//这个是负责将日志输出到一个文件，并且通过lumberjack库支持日志文件的自动轮转。
//函数返回一个zapcore.WriteSyncer接口，这是zap日志库用于抽象日志写入行为的一个接口。
func getLogWriter(filename string, maxSize, maxBackup, maxAge int) zapcore.WriteSyncer {
	//这个是实现自动轮转的日志写入器
	lumberJackLogger := &lumberjack.Logger{
		Filename:   filename,
		MaxSize:    maxSize,
		MaxBackups: maxBackup,
		MaxAge:     maxAge,
	}
	//这个相当于给它包了一下，最后返回一个zapcore.WriteSyncer类型。
	return zapcore.AddSync(lumberJackLogger)
}

// GinLogger 接收gin框架默认的日志
func GinLogger() gin.HandlerFunc {
	return func(c *gin.Context) {
		start := time.Now()
		path := c.Request.URL.Path
		query := c.Request.URL.RawQuery
		c.Next()

		cost := time.Since(start)
		zap.L().Info(path,
			zap.Int("status", c.Writer.Status()),
			zap.String("method", c.Request.Method),
			zap.String("path", path),
			zap.String("query", query),
			zap.String("ip", c.ClientIP()),
			zap.String("user-agent", c.Request.UserAgent()),
			zap.String("errors", c.Errors.ByType(gin.ErrorTypePrivate).String()),
			zap.Duration("cost", cost),
		)
	}
}

// GinRecovery recover掉项目可能出现的panic，并使用zap记录相关日志
func GinRecovery(stack bool) gin.HandlerFunc {
	return func(c *gin.Context) {
		defer func() {
			if err := recover(); err != nil {
				// Check for a broken connection, as it is not really a
				// condition that warrants a panic stack trace.
				var brokenPipe bool
				if ne, ok := err.(*net.OpError); ok {
					if se, ok := ne.Err.(*os.SyscallError); ok {
						if strings.Contains(strings.ToLower(se.Error()), "broken pipe") || strings.Contains(strings.ToLower(se.Error()), "connection reset by peer") {
							brokenPipe = true
						}
					}
				}

				httpRequest, _ := httputil.DumpRequest(c.Request, false)
				if brokenPipe {
					zap.L().Error(c.Request.URL.Path,
						zap.Any("error", err),
						zap.String("request", string(httpRequest)),
					)
					// If the connection is dead, we can't write a status to it.
					c.Error(err.(error)) // nolint: errcheck
					c.Abort()
					return
				}

				if stack {
					zap.L().Error("[Recovery from panic]",
						zap.Any("error", err),
						zap.String("request", string(httpRequest)),
						zap.String("stack", string(debug.Stack())),
					)
				} else {
					zap.L().Error("[Recovery from panic]",
						zap.Any("error", err),
						zap.String("request", string(httpRequest)),
					)
				}
				c.AbortWithStatus(http.StatusInternalServerError)
			}
		}()
		c.Next()
	}
}

上面的代码实现了啥：
创建zap日志实例，然后还实现了关于gin的两个中间件，这两个中间件就是gin里面的自定义中间件，因为gin里面的中间件是使用原生的日志库来实现的，这里我用外部的zap来实现相同的功能的中间件，那就必须自己重写一个。
很多东西我觉得要是看不懂那就说明语法关于zap的知识忘了，可以回去zap补一下知识点。

我直接解读一下前面的配置的地方。

然后在main函数中也给他启动一下

if err := logger.Init(); err != nil {
		fmt.Printf("init logger failed,err:%v\n", err)
		return
	}
	defer zap.L().Sync() 
	//这个是确保程序退出之前安全地同步日志缓冲区，将所有挂起的日志输出操作完成。
	zap.L().Debug("logger init success...")

那么日志模块我们也写完了。

3.初始化mysql连接模块

一般关于数据库的模块我们一般用dao模块（CLD分层），然后再在里面细分mysql模块，最后去完成这个mysql模块的填充：
这个模块比较简单：
完成的内容：
1、连接上数据库。
2、对数据库进行相关的配置，比如配置数据库的最大连接数，最大空闲连接数等待。

package mysql

import (
	"fmt"

	"go.uber.org/zap"
	_ "github.com/go-sql-driver/mysql"
	"github.com/jmoiron/sqlx"
	"github.com/spf13/viper"
)

// 定义一个全局对象db
var db *sqlx.DB

// 定义一个初始化数据库的函数
func Init() (err error) {
	// DSN:Data Source Name
	//这里就是先构建一个数据源
	dsn := fmt.Sprintf("%s:%s@tcp(%s:%d)/%s?charset=utf8mb4&parseTime=True",
		viper.GetString("mysql.user"),
		viper.GetString("mysql.password"),
		viper.GetString("mysql.host"),
		viper.GetInt("mysql.port"),
		viper.GetString("mysql.dbname"))
	// 不会校验账号密码是否正确
	// 注意！！！这里不要使用:=，我们是给全局变量赋值，然后在main函数中使用全局变量db
	//这里就是直接连接
	db, err = sqlx.Connect("mysql", dsn)
	if err != nil {
		zap.L().Info("connect DB failed,err :%v\n", zap.Error(err))
		return
	}
	//这里就是进行数据库连接相关的配置。
	db.SetMaxIdleConns(viper.GetInt("mysql.max_idle_conns"))
	db.SetMaxOpenConns(viper.GetInt("mysql.max_open_conns"))
	return
}

func Close() {
	_ = db.Close()
}

然后main函数启动一下

//3.初始化mysql连接
	if err := mysql.Init(); err != nil {
		fmt.Printf("init mysql failed,err:%v\n", err)
		return
	}
	//这里我们想实现在这里关闭连接也很简单，直接在mysql里面写一个关闭内部全局db的函数，然后调用就关了。
	defer mysql.Close()

redis模块

就是负责连接redis
可以看出很简单：就是从配置文件把配置项拉出填入到redis客户端创建的配置中。

package redis

import (
	"context"
	"fmt"

	"github.com/go-redis/redis/v8"
	"github.com/spf13/viper"
)

func Init() (err error) {
	rdb := redis.NewClient(&redis.Options{
		Addr:     fmt.Sprintf("%s:%d", viper.GetString("redis.host"), viper.GetInt("redis.port")),
		Password: viper.GetString("redis.password"), // 密码
		DB:       viper.GetInt("redis.db"),          // 数据库
		PoolSize: viper.GetInt("redis.pool_size"),   // 连接池大小
	})

	ctx := context.Background()
	_, err = rdb.Ping(ctx).Result()
	return

}

func Close() {
	_ = rdb.Close()
}

main函数中，redis模块启动一下：

if err := redis.Init(); err != nil {
		fmt.Printf("init redis failed,err:%v\n", err)
		return
	}
	//这里也是相同的思想。
	defer redis.Close()

注册路由

这部分也是一个模块，建一个routes模块，里面全部是路由的注册信息。
里面要实现哪些内容：
1.创建一个引擎（New)，并且对引擎进行配置（中间件添加）。
2.所有关于路由的注册信息都在这里写.
3.返回值就是这个引擎，在main入口函数，我们只想得到这个引擎直接拿来用。

package routes

import (
	"my_web/logger"
	"net/http"

	"github.com/gin-gonic/gin"
)

func SetUp() *gin.Engine {
	r := gin.New()
	r.Use(logger.GinLogger(), logger.GinRecovery(true))

	r.GET("/", func(c *gin.Context) {
		c.String(http.StatusOK, "ok")
	})
	return r

}

服务启动

就是负责将这个项目启动和停止。

//6.启动服务
	srv := &http.Server{
		Addr:    fmt.Sprintf(":%d", viper.GetInt("app.port")),
		Handler: r,
	}

	go func() {
		// 开启一个goroutine启动服务
		if err := srv.ListenAndServe(); err != nil && err != http.ErrServerClosed {
			zap.L().Fatal("listen: %s\n", zap.Error(err))
		}
	}()

	// 等待中断信号来优雅地关闭服务器，为关闭服务器操作设置一个5秒的超时
	quit := make(chan os.Signal, 1) // 创建一个接收信号的通道
	// kill 默认会发送 syscall.SIGTERM 信号
	// kill -2 发送 syscall.SIGINT 信号，我们常用的Ctrl+C就是触发系统SIGINT信号
	// kill -9 发送 syscall.SIGKILL 信号，但是不能被捕获，所以不需要添加它
	// signal.Notify把收到的 syscall.SIGINT或syscall.SIGTERM 信号转发给quit
	signal.Notify(quit, syscall.SIGINT, syscall.SIGTERM) // 此处不会阻塞
	<-quit                                               // 阻塞在此，当接收到上述两种信号时才会往下执行
	log.Println("Shutdown Server ...")
	// 创建一个5秒超时的context
	ctx, cancel := context.WithTimeout(context.Background(), 5*time.Second)
	defer cancel()
	// 5秒内优雅关闭服务（将未处理完的请求处理完再关闭服务），超过5秒就超时退出
	if err := srv.Shutdown(ctx); err != nil {
		zap.L().Fatal("Server Shutdown: ", zap.Error(err))
	}

最基本的就是这些模块，初次之外还有一些模块，在项目中也重要:
controllers:服务的入口，负责处理路由，参数校验，请求转发
logic：逻辑服务层
models：放一些模型。
pkg：第三方库

总结：
这个模板比较适合个人维护整个项目的情况下。下一次介绍一下在企业环境下比较常用的模板。