高质量编程与性能调优实战
高质量编程
简介
什么是高质量
——编写的代码能够达到正确可靠、简洁清晰的目标可称之为高质量代码
-
各种边界条件是否考虑完备
-
异常情况处理,稳定性保证
-
易读易维护
-
编程原则
简单性
- 消除“多余的复杂性”,以简单清晰的逻辑编写代码
- 不理解的代码无法修复改进
可读性
- 代码是写给人看的,而不是机器
- 编写可维护代码的第一步是确保代码可读
生产力
- 团队整体工作效率非常重要
编码规范
- 代码格式
-
推荐使用gofmt自动格式化代码
-
gofmt
Go语言官方提供的工具,能自动格式化Go语言代码为官方统一风格常见IDE都支持方便的配置
-
goimports
也是Go语言官方提供的工具实际等于gofmt加上依赖包管理,自动增删依赖的包引用、将依赖包按字母序排序并分类
-
-
注释
注释的作用
-
注释应该解释代码作用
适合注释公共符号
-
注释应该解释代码如何做的
-
注释应该解释代码实现的原因
- 注释应该解释代码什么情况会出错
- 适合解释代码的限制条件
- 公共符号始终要注释 - 包中声明的每个公共的符号:变量、常量、函数以及结构都需要添加注释 - 任何既不明显也不简短的公共功能必须予以注释 - 无论长度或复杂程度如何,对库中的任何函数都必须进行注释 ![在这里插入图片描述](https://img-blog.csdnimg.cn/3a3a5afc54d64c78bdfa7d6a90963efc.png#pic_center)
-
-
命名规范
- variable
- 简洁胜于冗长
- 缩略词全大写,但当其位于变量开头且不需要导出时,使用全小写
- 例如使用ServeHTTP而不是ServeHttp
- 使用XMLHTTPRequest 或者xmlHTTPRequest
- 变量距离其被使用的地方越远,则需要携带越多的上下文信息
- 全局变量在其名字中需要更多的上下文信息,使得在不同地方可以轻易辨认出其含义
-
function
- 函数名不携带包名的上下文信息,因为包名和函数名总是成对出现的
- 函数名尽量简短
- 当名为 foo 的包某个函数返回类型Foo时,可以省略类型信息而不导致歧义
- 当名为 foo的包某个函数返回类型T时(T并不是Foo),可以在函数名中加入类型信息
-
package
- 只由小写字母组成。不包含大写字母和下划线等字符。
- 简短并包含一定的上下文信息。例如schema、task 等
- 不要与标准库同名。例如不要使用sync 或者strings
以下规则尽量满足,以标准库包名为例
- 不使用常用变量名作为包名。例如使用bufio而不是buf
- 使用单数而不是复数。例如使用encoding而不是encodings
- 谨慎地使用缩写。例如使用fmt在不破坏上下文的情况下比 format更加简短
- variable
-
控制流程
-
避免嵌套,保持正常流程清晰
如果两个分支中都包含return语句,则可以去除冗余的else
-
尽量保持正常代码路径为最小缩进
- 优先处理错误情况/特殊情况,尽早返回或继续循环来减少嵌套
- 最常见的正常流程的路径被嵌套在两个if 条件内
- 成功的退出条件是return nil,必须仔细匹配大括号来发现
- 函数最后一行返回一个错误,需要追溯到匹配的左括号,才能了解何时会触发错误
- 如果后续正常流程需要增加一步操作,调用新的函数,则又会增加一层嵌套
-
-
错误和异常处理
-
简单错误
- 简单的错误指的是仅出现一次的错误,且在其他地方不需要捕获该错误
- 优先使用errors.New来创建匿名变量来直接表示简单错误
- 如果有格式化的需求,使用fmt.Errorf
-
错误的Wrap和Unwrap
- 错误的Wrap 实际上是提供了一个error嵌套另一个error的能力,从而生成一个error的跟踪链
- 在fmt.Errorf 中使用:%w关键字来将一个错误关联至错误链中
-
错误判定
- 判定一个错误是否为特定错误,使用errors.ls
- 不同于使用==,使用该方法可以判定错误链上的所有错误是否含有特定的错误
- 在错误链上获取特定种类的错误,使用errors.As
-
panic
- 不建议在业务代码中使用panic
- 调用函数不包含recover会造成程序崩溃
- 若问题可以被屏蔽或解决,建议使用error代替 panic
- 当程序启动阶段发生不可逆转的错误时,可以在init 或 main函数中使用panic
-
recover
- recover只能在被defer的函数中使用
- 嵌套无法生效
- 只在当前goroutine 生效
- defer的语句是后进先出
- 如果需要更多的上下文信息,可以recover后在 log 中记录当前的调用栈 ![在这里插入图片描述](https://img-blog.csdnimg.cn/e503aaeed55649c6884baf71c9fdd01f.png#pic_center)
-
-
性能优化建议
简介
- 性能优化的前提是满足正确可靠、简洁清晰等质量因素
- 性能优化是综合评估,有时候时间效率和空间效率可能对立
- 针对Go语言特性,介绍Go相关的性能优化建议
Benchmark
-
如何使用
- 性能表现需要实际数据衡量
- Go语言提供了支持基准测试的benchmark工具
Slice
-
slice预分配内存
- 尽可能在使用make()初始化切片时提供容量信息
-
切片的本质是一个数组片段的描述
- 包括数组指针
- 片段的长度
- 片段的容量(不改变内存分配情况下的最大长度)
-
切片操作并不复制切片指向的元素
-
创建一个新的切片会复用原来切片的底层数组
-
另一个陷阱:大内存未释放
- 在已有切片基础上创建切片,不会创建新的底层数组
- 场景
- 原切片较大,代码在原切片基础上新建小切片
- 原底层数组在内存中有引用,得不到释放
- 可使用copy替代 re-slice
Map
-
map预分配内存
分析
- 不断向map中添加元素的操作会触发map 的扩容
- 提前分配好空间可以减少内存拷贝和 Rehash的消耗
- 建议根据实际需求提前预估好需要的空间
字符串处理
- 使用strings.Builder
- 常见字符串拼接方式
- 使用+拼接性能最差,strings.Builder,bytes.Buffer相近,strings.Buffer 更快
- 分析
- 字符串在Go语言中是不可变类型,占用内存大小是固定的
- 使用+每次都会重新分配内存
- strings.Builder,bytes.Buffer底层都是[]byte数组
- 内存扩容策略,不需要每次拼接重新分配内存
- bytes.Buffer转化为字符串时重新申请了一块空间
- strings.Builder直接将底层的[]byte 转换成了字符串类型返回
空结构体
- 使用空结构体节省内存
-
空结构体struct实例不占据任何的内存空间
-
可作为各种场景下的占位符使用
- 节省资源
- 空结构体本身具备很强的语义,即这里不需要
任何值,仅作为占位符
-
实现 Set,可以考虑用map 来代替
-
对于这个场景,只需要用到map 的键,而不需要值
-
即使是将map 的值设置为bool类型,也会多占据1个字节空间
-
aotmic包
- 使用atomic包
- 锁的实现是通过操作系统来实现,属于系统调用
- atomic操作是通过硬件实现,效率比锁高
- sync.Mutex应该用来保护一段逻辑,不仅仅用于保护一个变量
- 对于非数值操作,可以使用atomic.Value,能承载一个interface{}
性能调优实战
- 性能调优原则
- 要依靠数据不是猜测
- 要定位最大瓶颈而不是细枝末节
- 不要过早优化
- 不要过度优化
- 说明
- 希望知道应用在什么地方耗费了多少CPU、Memory
- pprof是用于可视化和分析性能分析数据的工具
- pprof 功能简介
- pprof 排查实战
-
搭建pprof实践项目
- GitHub (来自Wolfogre )
- https:/ /github.com/wolfogre/ go- pprof- practice
- 项目提前埋入了一.些炸弹代码,产生可观测的性能
问题
-
CPU
-
go tool pprof “http://localhost:6060/debug/pprof/profile?seconds=10”
- 命令:topN
- 查看占用资源最多的函数
- Flat == Cum,函数中没有调用其他函数
- Flat == 0,函数中只有其他函数的调用
- 命令:list
- 根据指定的正则表达式查找代码行
- 命令:web
- 调用关系可视化
-
- Heap-堆内存
go tool pprof -http=:8080"[http://localhost:6060/debug/pprof/heap](http://localhost:6060/debug/pprof/heap)"
- goroutine-协程
- goroutine泄露也会导致内存泄露
- go tool pprof -http=:8080
"[http://localhost:6060/debug/pprof/goroutine](http://localhost:6060/debug/pprof/goroutine)"
- mutex-锁
go tool pprof -http=:8080"[http://localhost:6060/debug/pprof/mutex](http://localhost:6060/debug/pprof/mutex)"
- block-阻塞
go tool pprof -http=:8080"[http://localhost:6060/debug/pprof/block](http://localhost:6060/debug/pprof/block)"
- pprof的采样过程和原理
-
CPU
- 采样对象:函数调用和它们占用的时间
- 采样率:100次/秒,固定值
- 采样时间:从手动启动到手动结束
-
操作系统
每10ms向进程发送一次SIGPROF信号
-
进程
每次接收到SIGPROF会记录调用堆栈
-
写缓冲
每100ms读取已经记录的调用栈并写入输出流
-
Heap-堆内存
- 采样程序通过内存分配器在堆上分配和释放的内存,记录分配/释放的大小和数量
- 采样率:每分配512KB记录一次,可在运行开头修改,1为每次分配均记录
- 采样时间:从程序运行开始到采样时
- 采样指标: alloc_space,alloc_objects,inuse_space, inuse_objects
- 计算方式: inuse = alloc - free
-
Goroutine-协程& ThreadCreate-线程创建
- Goroutine
记录所有用户发起且在运行中的goroutine(即入口非runtime开头的)
runtime.main的调用栈信息 - ThreadCreate
记录程序创建的所有系统线程的信息
- Goroutine
-
Block-阻塞& Mutex-锁
-
性能调优案例
- 基本概念
- 服务:能单独部署,承载一定功能的程序
- 依赖:Service A的功能实现依赖
Service B的响应结果,称为Service A依赖Service B - 调用链路:能支持一个接口请求的相关服务集合及其相互之间的依赖关
- 基础库:公共的工具包、中间件
- 流程
- 建立服务性能评估手段
- 分析性能数据,定位性能瓶颈
- 重点优化项改造
- 优化效果验证
- 建立服务性能评估手段
- 服务性能评估方式
- 单独 benchmark无法满足复杂逻辑分析
- 不同负载情况下性能表现差异
- 请求流量构造
- 不同请求参数覆盖逻辑不同
- 线上真实流量情况
- 压测范围
- 单机器压测
- 集群压测
- 性能数据采集
- 单机性能数据
- 集群性能数据
- 服务性能评估方式