go 微服务框架_你还在手撕微服务?快试试 go-zero 的微服务自动生成

0. 为什么说做好微服务很难?

要想做好微服务,我们需要理解和掌握的知识点非常多,从几个维度上来说:

  • 基本功能层面 并发控制&限流,避免服务被突发流量击垮 服务注册与服务发现,确保能够动态侦测增减的节点 负载均衡,需要根据节点承受能力分发流量 超时控制,避免对已超时请求做无用功 熔断设计,快速失败,保障故障节点的恢复能力
  • 高阶功能层面 请求认证,确保每个用户只能访问自己的数据 链路追踪,用于理解整个系统和快速定位特定请求的问题 日志,用于数据收集和问题定位 可观测性,没有度量就没有优化

对于其中每一点,我们都需要用很长的篇幅来讲述其原理和实现,那么对我们后端开发者来说,要想把这些知识点都掌握并落实到业务系统里,难度是非常大的,不过我们可以依赖已经被大流量验证过的框架体系。go-zero微服务框架就是为此而生。

另外,我们始终秉承工具大于约定和文档的理念。我们希望尽可能减少开发人员的心智负担,把精力都投入到产生业务价值的代码上,减少重复代码的编写,所以我们开发了goctl工具。

下面我通过书店服务来演示通过go-zero快速的创建微服务的流程,走完一遍,你就会发现:原来编写微服务如此简单!

1. 书店服务示例简介

为了教程简单,我们用书店服务做示例,并且只实现其中的增加书目和检查价格功能。

写此书店服务是为了从整体上演示go-zero构建完整微服务的过程,实现细节尽可能简化了。

2. 书店微服务架构图

33755577dd6ef94c2eea781a40b4bc86.png

3. goctl各层代码生成一览

所有绿色背景的功能模块是自动生成的,按需激活,红色模块是需要自己写的,也就是增加下依赖,编写业务特有逻辑,各层示意图分别如下:

  • API Gateway
  • RPC
bb7fe86d453507f1b6bcaae1a3d3daa6.png
  • model
24557043b5117b548da3180bb6670621.png

下面我们来一起完整走一遍快速构建微服务的流程,Let’s Go!‍♂️

4. 准备工作

  • 安装etcd, mysql, redis
b4d13e48d9264ba4d0c72da8a2637751.png
  • 创建工作目录bookstore
  • 在bookstore目录下执行go mod init bookstore初始化go.mod

5. 编写API Gateway代码

在bookstore/api目录下通过goctl生成api/bookstore.api:

815e3e074ff993ba024ce70dc3058786.png

编辑bookstore.api,为了简洁,去除了文件开头的info,代码如下:

c15068330d746da2ff5421ba23a22703.png

type用法和go一致,service用来定义get/post/head/delete等api请求,解释如下:

  • service bookstore-api {这一行定义了service名字
  • @server部分用来定义server端用到的属性
  • handler定义了服务端handler名字
  • get /add(addReq) returns(addResp)定义了get方法的路由、请求参数、返回参数等
  • 使用goctl生成API Gateway代码
4a873f4ad1cbdd4b1f9a744451c80398.png

生成的文件结构如下:

030ef88979f8b2fff2cc1f0dfefbbc3e.png

启动API Gateway服务,默认侦听在8888端口

de6f2658fe1d0304c16825fe02e0db7d.png

测试API Gateway服务

df8ad8f4a292f432e9a599d2ea45839f.png

返回如下:

4397908ed2576f4a353cf0339bf772e6.png

可以看到我们API Gateway其实啥也没干,就返回了个空值,接下来我们会在rpc服务里实现业务逻辑

可以修改internal/svc/servicecontext.go来传递服务依赖(如果需要)实现逻辑可以修改internal/logic下的对应文件可以通过goctl生成各种客户端语言的api调用代码到这里,你已经可以通过goctl生成客户端代码给客户端同学并行开发了,支持多种语言,详见文档

6. 编写add rpc服务

在rpc/add目录下编写add.proto文件

可以通过命令生成proto文件模板

5afd65f2b35d0a85e76d143ab69f4ed5.png

修改后文件内容如下:

44ec9af6f1348207e4f73d68348e83fb.png

用goctl生成rpc代码,在rpc/add目录下执行命令

54e37669d12364d4804768470a648de9.png

文件结构如下:

c66e652408879a993d90a0433feea591.png

直接可以运行,如下:

  $ go run add.go -f etc/add.yaml  Starting rpc server at 127.0.0.1:8080...复制代码

etc/add.yaml文件里可以修改侦听端口等配置

7. 编写check rpc服务

在rpc/check目录下编写check.proto文件

可以通过命令生成proto文件模板

cc3dc6da6e95fe4ad78a9ac9eda9414b.png

用goctl生成rpc代码,在rpc/check目录下执行命令

ef13ee47cdf56d417085d5971f785040.png

文件结构如下:

0bb1def9a37b7e30fb52ecdfcc4ecee6.png

etc/check.yaml文件里可以修改侦听端口等配置

需要修改etc/check.yaml的端口为8081,因为8080已经被add服务使用了,直接可以运行,如下:

d991b366aabf5acd9453efc33760e88f.png

8. 修改API Gateway代码调用add/check rpc服务

  • 修改配置文件bookstore-api.yaml,增加如下内容
f10838c0c0c900d582c3ebcfe0c5647b.png
  • 通过etcd自动去发现可用的add/check服务
  • 修改internal/config/config.go如下,增加add/check服务依赖
3121e448b62ae24f2bdbb68b184e0857.png
  • 修改internal/svc/servicecontext.go,如下:
6002b8a08d1ab453cb5068b50d2279ca.png
  • 通过ServiceContext在不同业务逻辑之间传递依赖
  • 修改internal/logic/addlogic.go里的Add方法,如下:
71347dccd412ea618779711c000bedf1.png
  • 通过调用adder的Add方法实现添加图书到bookstore系统
  • 修改internal/logic/checklogic.go里的Check方法,如下:
ac2fb632922af0fd9e15849c410df650.png
  • 通过调用checker的Check方法实现从bookstore系统中查询图书的价格

9. 定义数据库表结构,并生成CRUD+cache代码

  • bookstore下创建rpc/model目录:mkdir -p rpc/model
  • 在rpc/model目录下编写创建book表的sql文件book.sql,如下:
21e9c4d715336ff01114acb4ab2315fd.png
  • 创建DB和table create database gozero
a4a30dd9a3ff5904b2c7b073feca81f4.png

生成后的文件结构如下:

a460b3bc0d306b1fbafd68cfd5c388b2.png

10. 修改add/check rpc代码调用crud+cache代码

  • 修改rpc/add/etc/add.yaml和rpc/check/etc/check.yaml,增加如下内容:
25b2db94002ce7ddaa62c3d47c0411d0.png
83c02f1cefe2fe16ff77641daf7e3c31.png

修改rpc/check/internal/logic/checklogic.go,如下:

2863d2ed7c85d6bdb345427b13abada0.png

至此代码修改完成,凡是手动修改的代码我加了标注

11. 完整调用演示

  • add api调用
a3f1b74ef9e736fb3900256ed9e5b007.png

返回如下:

8c64a28a90bde7e9cacfd24707bb7f8e.png
  • check api调用
84b59e993567a756e9f743e7b3900f36.png
3be86e074c4049b877abaffabe8b174e.png

12. Benchmark

因为写入依赖于mysql的写入速度,就相当于压mysql了,所以压测只测试了check接口,相当于从mysql里读取并利用缓存,为了方便,直接压这一本书,因为有缓存,多本书也是一样的,对压测结果没有影响。

压测之前,让我们先把打开文件句柄数调大:

ulimit -n 20000复制代码

并日志的等级改为error,防止过多的info影响压测结果,在每个yaml配置文件里加上如下:

Log:    Level: error复制代码
234a7b4a172d1a92a9d43e31d88a7f0c.png

可以看出在我的MacBook Pro上能达到3万+的qps。

13. 完整代码

github.com/tal-tech/go…

14. 总结

我们一直强调工具大于约定和文档

go-zero不只是一个框架,更是一个建立在框架+工具基础上的,简化和规范了整个微服务构建的技术体系。

我们在保持简单的同时也尽可能把微服务治理的复杂度封装到了框架内部,极大的降低了开发人员的心智负担,使得业务开发得以快速推进。

通过go-zero+goctl生成的代码,包含了微服务治理的各种组件,包括:并发控制、自适应熔断、自适应降载、自动缓存控制等,可以轻松部署以承载巨大访问量。

有任何好的提升工程效率的想法,随时欢迎交流!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值