字节青训营第二课之工程实践的笔记和总结

这是字节青训营的第二课：工程实践的笔记和总结

1语言进阶

并发

go可以充分发挥多核优势，高效运行，介绍原理之前，先介绍几个概念：

• 并发：单CPU同时间段切换交错执行多任务
• 并发：多CPU同时刻都运行任务
• 进程：资源管理的最小单位，进程虚拟地址空间分成用户和内核空间
• 线程：资源调度最小单位，再内核态，共享进程中的资源，比进程轻量级
• 协程：再用户态的轻量级线程，调度和切换都在用户态，因此高效
  

goroutine

Go 语言提供了 sync 和 channel 两种方式支持协程(goroutine)的并发。
go中的协程goroutine使用简单，只需在调用函数（普通或匿名函数）前加go关键字，没有返回值，因此通过channel通信。提倡通过通信共享内存，而不是通过共享内存而实现通信。

由于goroutine是异步执行，因此需要同步，否则主程序退出而goroutine还没执行完，同步的主要方式有：Sleep、Channel、Sync。若知道每个协程执行时间，则可Sleep等待所有协程执行完再退出，实际不常用，常用后两者

Sync

多个并发协程之间不需要通信，就可以使用 sync.WaitGroup，内部维护计数器，主程序Add和协程Done增加和减少计数器，主程序Wait阻塞等待所有任务并发执行完，进行同步，针对只执行一次场景使用Once。

Channel

channel 信道，可以在协程之间传递消息。阻塞等待并发协程返回消息
go是CSP并发模型，没有对内存加减锁减少性能消耗，chanel可让协程发送特定值到另外协程，遵循FIFO且保证收发顺序。通过make创建，分无缓冲（未指定大小）和有缓冲，前者会阻塞直到接收或发送，使用“<-”发送和接收。常用for range或if ok判断channel关闭时机，当然defer close不用判断，图是生产者-消费者模型

总结

协程：通过高效的调度模型实现高并发；channel：通过通信实现共享内存；sync：实现并发安全操作和携程间的同步

2依赖管理

背景

实际开发需通常更关注业务逻辑的实现，常使用被封装好、经过验证的开发组件或工具提升开发效率（不然还不如使用C和C++自己造轮子:）），如框架、日志、driver等一系列依赖通过sdk引入，因此需要对依赖管理。

Go依赖管理演进

Go的依赖管理经过GOPATH、Go Vendor、Go Module，GOPAHT无法实现包的多版本控制，Go Vendor无法控制依赖的版本，更新有可能出现依赖冲突等问题，因此常使用Go Module。整个演进路线围绕：

• 不同项目依赖的版本不同
• 控制依赖库的版本

依赖管理三要素

1. 描述依赖的配置文件
   
   依赖版本包括语义化版本和基于commit伪版本版本
   
   语义版本中的MAJOR不同表示API不兼容，即使同个库，MAJOR不同也被认为是不同模块，MINOR通常是新增函数或功能，path一般是修复bug。基于commit则是commit的时间戳和12位的哈希前缀校验码，每次commit就默认生成一个版本号
   
   indirect表示间接依赖
   
   go是11版本提出go module，主版本大于等于2的包，应在路径中体现出版本，而很多包在此之前打上更高版本的tag，为兼容这些包会在版本号后奖赏+incompatible，如图上因该是lib6/v3 v3.2.0，若未遵守则打上incompatible标签
   
   若同包不同版本，则选择最低兼容版本

2. 管理依赖库的中心仓库

go proxy解决无法保证构建稳定性、依赖可用性、第三方托管平台压力的问题，它是服务站点，会缓存源站中软件内容，构建时直接从proxy站点拉取依赖

GOPROXY环境变量中是go proxy站点URL列表，按顺序查找，direct表示源站下载

3. 本地工具

go get获取包，go mod初始化（init）、下载（download）、增加减少依赖（tidy）

3测试

测试可极大避免事故发生，是避免事故最后一道屏障，从上到下是回归测试、集成测试、单元测试，覆盖率逐层变大成本逐层降低

单元测试

单元测试包括：输入、测试单元、输出三部分，单元包括函数、模块等，通过校对保证代码功能和预期相同，既能保证质量又能提升效率（定位和修复bug）,常用测试包assert，单元测试规则：

• 测试文件以_test.go结尾

• 测试函数以Test开头且连接的首字母大写

• 初始化逻辑放在TestMain中
  
  单元测试覆盖率指代码执行量和总代码量间的比率，主要包括分支、行、方法、类四个指标，实际项目一般要求50-60%覆盖率，资金型重要服务需达到80%，为提升覆盖率：

• 测试分支相互独立、全面覆盖

• 测试单元粒度要够小，遵循函数单一职责

Mock测试

复杂项目一般会依赖文件、数据库、缓存等，而单测需保证任何情况都能运行测试的稳定，每次测试结果都相同的幂等，因此需要mock机制，常用monkey库，运行时通过Go的unsafe包，将函数地址替换为运行时函数地址，跳转到待打桩函数或方法，摆脱依赖

基准测试

实际项目开发中经常遇到代码性能瓶颈，为定位问题需对代码做性能分析，也就是基准测试，测试程序运行即耗费cpu的程度

4项目实战

项目实战是通过项目实践讲解项目开发的思路和流程，包括需求分析、代码开发、测试运行三部分。

需求背景

需求描述

掘金社区话题页面，展示话题（标题、文字描述）和回帖列表，不考虑前端仅实现本地web服务，话题和回帖数据用文件存储

需求用例

主要是用户浏览话题内容和回帖列表，包含主题内容和回帖列表，想象每个实体的属性及它们之间的联系

ER图

思考实体的属性及之间的联系，对后续开发提供清晰思路

分层结构

代码结构采用分层结构设计，包括数据层、逻辑层、视图层。数据层封装外部数据增删改查，对逻辑层屏蔽底层数据差异，即不管底层是文件还是数据库还是微服务，同时对逻辑层接口模型不变。逻辑层处理核心业务逻辑并上送给视图层。视图层负责交互，以视图形式返回给客户端

组件工具

高性能web框架gin v1.3.0版，主要涉及路由分发，使用go module依赖管理，按reposity、service、controller逐步实现

Repository

定义Topic和Post结构体如下，如何高效查询

为简单使用map实现内存索引，用文件元数据初始化全局内存索引，可o(1)查找

迭代遍历数据行，转为结构体存储到map中

func initTopicIndexMap(filePath string) error {
	open, err := os.Open(filePath + "topic")
	if err != nil {
		return err
	}
	scanner := bufio.NewScanner(open)
	topicTmpMap := make(map[int64]*Topic)
	for scanner.Scan() {
		text := scanner.Text()
		var topic Topic
		if err := json.Unmarshal([]byte(text), &topic); err != nil {
			return err
		}
		topicTmpMap[topic.Id] = &topic
	}
	topicIndexMap = topicTmpMap
	return nil
}

查询则直接查询key获得value即可

Service

Service主要包括PageInfo结构体，它包含Topic和PostList

type PageInfo struct {
	Topic    *repository.Topic
	PostList []*repository.Post
}

Service实现流程包括参数校验、准备数据、组装实体三部分

func (f *QueryPageInfoFlow) Do() (*PageInfo, error) {
	if err := f.checkParam(); err != nil {
		return nil, err
	}
	if err := f.prepareInfo(); err != nil {
		return nil, err
	}
	if err := f.packPageInfo(); err != nil {
		return nil, err
	}
	return f.pageInfo, nil
}

prepreinfo方法中，话题和回帖信息的获取都依赖tipicid，这样两者就可并行执行，提高效率，实际开发中要思考流程是否可并发，从而提高并发

Controller

定义PageData结构体作为view对象，通过code和msg打包业务状态信息，data承载业务实体信息

type PageData struct {
	Code int64       `json:"code"`
	Msg  string      `json:"msg"`
	Data interface{} `json:"data"`
}
func QueryPageInfo(topicIdStr string) *PageData {
	topicId, err := strconv.ParseInt(topicIdStr, 10, 64)
	if err != nil {
		return &PageData{
			Code: -1,
			Msg:  err.Error(),
		}
	}
	pageInfo, err := service.QueryPageInfo(topicId)
	if err != nil {
		return &PageData{
			Code: -1,
			Msg:  err.Error(),
		}
	}
	return &PageData{
		Code: 0,
		Msg:  "success",
		Data: pageInfo,
	}

}

Router

最后是web服务的引擎配置，path映射到具体controller，通过path变量传递话题id。过程包括初始化数据索引、初始化引擎配置、构建路由、启动服务

func main() {
	if err := Init("./data/"); err != nil {
		os.Exit(-1)
	}
	r := gin.Default()
	r.GET("/community/page/get/:id", func(c *gin.Context) {
		topicId := c.Param("id")
		data := cotroller.QueryPageInfo(topicId)
		c.JSON(200, data)
	})
	err := r.Run()
	if err != nil {
		return
	}
}

测试和运行

本地go run运行，并使用curl请求服务暴露的接口

5 代码示例

以上语法和实战代码示例，都能再这里找到