python 微服务 etcd_使用 go-micro用etcd接入微服务，版本冲突解决

最新推荐文章于 2023-03-30 23:15:00 发布
最新推荐文章于 2023-03-30 23:15:00 发布
阅读量262 收藏
点赞数
文章标签： python 微服务 etcd

内容纲要

报错提示

使用go-micro分布式系统开发框架，通过etcd管理服务，基于gRPC的微服务，编译报错如下，

../lib/pb/publisher.basic.pb.go:225:7: undefined: grpc.ClientConnInterface

../lib/pb/publisher.basic.pb.go:229:11: undefined: grpc.SupportPackageIsVersion6

../lib/pb/publisher.basic.pb.go:240:5: undefined: grpc.ClientConnInterface

../lib/pb/publisher.basic.pb.go:243:22: undefined: grpc.ClientConnInterface

环境

github.com/golang/protobuf v1.4.2

github.com/micro/go-micro/v2 v2.9.0

google.golang.org/grpc v1.26.0

google.golang.org/grpc v1.27.0

Makefile

build:

protoc --proto_path=./proto/ --micro_out=./pb/ --go_out=./pb/ --go_opt=plugins=grpc,paths=source_relative proto/publisher.basic.proto

protoc --proto_path=./proto/ --micro_out=./pb/ --go_out=./pb/ --go_opt=plugins=grpc,paths=source_relative proto/publisher.rpc.proto

原因分析

protoc-gen-go 是 https://github.com/golang/protobuf 项目下的一个golang工具，请见https://github.com/golang/protobuf/tree/master/protoc-gen-go

go get 安装的 protoc-gen-go 是最新版本，我们通过MakeFile文件，make build生成 pd.go文件，grpc下的一些方法是在grpc类库找不到的。

通过查看go.mod，google.golang.org/grpc v1.26.0

升级到 1.27.0，解决了protoc编译出来pb.go文件与 google.golang.org/grpc 不兼容问题。

产生了新的问题，etcd 和 grpc v1.27.0 产生冲突，表明不支持grpc这么高版本。

github.com/coreos/etcd@v3.3.18+incompatible... undefined: resolver.BuildOption

github.com/coreos/etcd@v3.3.18+incompatible... undefined: resolver.ResolveNowOption

protoc –grpc-gateway_out= 生成出来的 pb.go 代码需要 grpc 1.27.0，而 etcd 需要 grpc 1.26.0

解决方案

那么在go.mod内添加一个模块的两个版本，

google.golang.org/grpc v1.26.0

google.golang.org/grpc v1.27.0

还原 grpc 到 1.26.0，protoc-gen-go 降级

github.com/golang/protobuf v1.4.2 降级到 1.3.2

go get -u -v github.com/golang/protobuf/protoc-gen-go@v1.3.2

技术总结

理解这几个类库设计目的和定位

梳理清楚go-micro\etcd框架、编译Protobuf文件、gRPC相互依赖的版本

尽量控制在最新稳定版本，版本不要最新，也不要太旧

Protobuf 类库和版本规范

The github.com/golang/protobuf module is the original Go protocol buffer API.

The google.golang.org/protobuf module is an updated version of this API designed for simplicity, ease of use, and safety. The flagship features of the updated API are support for reflection and a separation of the user-facing API from the underlying implementation.

gogoprotobuf is a fork of golang/protobuf with extra code generation features.

当前版本优先使用

proto3

google.golang.org/protobuf/proto

参考资料

weixin_39665787
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Etcd使用go module的灾难
Go中国
05-09 2302
最近几个月，或者最近一年，使用etcd做开发的朋友，如果你开启了go module的功能的话，没有出现翻车的现象吗？或者go get -u .更新一下项目依赖试试看。因为我使用visua...
undefined: grpc.SupportPackageIsVersion6 和 undefined: grpc.ClientConnInterface 解决办法
01-08
问题表现 编译protobuf的 .pb.go文件时报错，如 undefined: grpc.SupportPackageIsVersion6 或 undefined: grpc.ClientConnInterface 和这个贴子的表现一样，https://github.com/grpc/grpc-go/issues/3347 解决办法 方法1：升级grpc到1.27以上即可，但是如果升级后出现了其他报错，如 undefined: resolver.BuildOption 或 undefined: resolver.ResolveNowOption，又必须降低grpc版本到1.26或以下时，请
解决grpc_pb.go编译报错undefined: grpc.SupportPackageIsVersion7
空山新雨后，天气晚来秋
06-16 2366
解决grpc_pb.go编译报错undefined: grpc.SupportPackageIsVersion7
etcd、grpc、protobuf兼容性问题
逍遥游的博客
06-28 1262
etcd、grpc、protobuf兼容性问题 文章目录etcd、grpc、protobuf兼容性问题1. 错误12. 错误23. 错误34. 错误45. 错误5 近来在学习 etcd, 拿到一份代码的 demo. 想跑起来看看效果。没想过这竟然是个艰难的过程，记录下来，以便大家遇到同样的问题时，可以快速解决。 protoc –-go_out=plugins=grpc:. *.proto 1. 错误1 报错如下： 2020/04/26 16:33:39 WARNING: Missing 'go_pack
Python库 | etcd_tree-0.7.8.tar.gz
03-04
Python库`etcd_tree`是针对`etcd`的一个客户端工具，版本为0.7.8，它提供了方便的方式来操作和管理`etcd`的数据结构。`etcd`是一个分布式的键值存储系统，常用于服务发现、配置共享等场景，广泛应用于微服务架构中。...
Python库 | etcd_tree-0.46.0.tar.gz
05-15
资源分类：Python库 所属语言：Python 资源全名：etcd_tree-0.46.0.tar.gz 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
windows版本 etcd-v3.5.0-windows-amd64
最新发布
07-14
此外，etcd还支持多种编程语言的客户端库，如Go、Java、Python等，方便在应用程序中集成etcd。 **安全性和备份** 为了保障数据的安全，etcd支持TLS加密通信和身份验证。你可以通过`--cert-file`、`--key-file`等...
python微服务案例-DJango-Flask-Vue
09-01
在本项目中，“python微服务案例-DJango-Flask-Vue”，我们看到了一个综合性的应用，它利用Python的两种主流Web框架——Django和Flask，以及前端的Vue.js来构建微服务架构。微服务架构是一种将单一应用程序分解为一...
python-etcd3:etcd API v3 的 Python 客户端
07-24
python-etcd3 etcd API v3 的 Python 客户端，在 python 2.7、3.4 和 3.5 下支持。 警告：API 大部分是稳定的，但将来可能会发生变化 如果您有兴趣使用此库，请参与。 免费软件：Apache 软件许可证 2.0 文档： :...
golang gRPC：根据.protobuf文件生成go代码
西京刀客
03-30 3506
在最新版本的Protocol Buffer编译器中，--go-grpc_out选项已经取代了--go_out=plugins=grpc选项，并且成为了生成gRPC服务端和客户端代码的推荐选项。
golang etcd 版本的坑
oolyl的专栏
09-01 1303
如果3.3.25版本，包用： github.com/coreos/etcd v3.3.25+incompatible grpc用： replace google.golang.org/grpc => google.golang.org/grpc v1.26.0
Go使用etcd出坑go.mod
但行好事，莫问前程
02-04 949
相信各位在是使用go语言操作etcd也没有那个顺利吧，希望这个配置能够给你带来帮助 go.mod module etcd_demo go 1.15 require ( github.com/coreos/etcd v3.3.25+incompatible // indirect github.com/coreos/go-semver v0.3.0 // indirect github.com/coreos/go-systemd v0.0.0-20191104093116-d3cd4ed1dbcf
Missing input file 的Protocol 报错解决
但行好事，莫问前程
07-21 1万+
问题解决如下 通过编辑器的如下命令生成Java文件时 `protoc.exe --java_out=./ prop.proto prop.proto冒号后面那个点和文件名之间有个空格，忘记加空格了不会编译通过，会报错：Missing input file.
go-micro使用etcd作为服务注册中心
weixin_44540711的博客
09-22 1980
需要安装etcd服务，我用的是windows版本的，具体安装自行解决 proto文件编辑 syntax = "proto3"; message GetRequest { int32 user_id = 1; } message PutResponse { string name = 1; int32 age = 2; int32 score = 3; } service UserServer { rpc UserInfo(GetRequest) return
解决go mod拉取etcd依赖包报错的问题
热门推荐
skh2015java的博客
12-12 1万+
go sdk版本在go1.13和go1.14版本使用gomod管理依赖包中有etcd时会出现异常，无法正常拉取etcd包。 错误如下： go.etcd.io/etcd/clientv3 tested by go.etcd.io/etcd/clientv3.test imports github.com/coreos/etcd/auth imports github.com/coreos/etcd/mvcc/backend imports ..
使用go-micro/etcd 报错undefined: resolver.BuildOption resolver.ResolveNowOption balancer.PickOptions...
luslin1711的博客
05-21 1107
如图， 在写完简单的demo文件后，发现报错了。 # github.com/coreos/etcd/clientv3/balancer/resolver/endpoint ../../../../../pkg/mod/github.com/coreos/etcd@v3.3.18+incompatible/clientv3/balancer/resolver/endpoint/endpoint.go:114:78: undefined: resolver.BuildOption ../../../../...
cannot use auth.callOpts (type []"github.com/coreos/etcd/vendor/google.golang.org。。
微微一笑
02-11 3582
在经过了很多此下载之后终于将golang的etcd api吧下载成功了 但是出现了一些错误 很多此在github上面下载失败的原因是下面这个链接所说到的 https://github.com/etcd-io/etcd/pull/10044#issuecomment-417125341 可以自己打开翻译看一下 我最终是通过go get github.com/coreos/etcd/clientv3...
python 微服务 etcd_grpc应用于微服务的分析,基于python
05-16
Etcd是一个高可用的键值存储系统，用于分布式系统中的服务发现和配置共享。而gRPC则是一种高性能、开源和通用的RPC框架，可以在任何环境中连接多种语言开发的应用程序。将Etcd与gRPC结合起来，可以实现高效的微服务治理。 在Python中，可以使用etcd3库与Etcd进行通信，使用grpc库实现gRPC服务。具体实现步骤如下： 1. 安装etcd3和grpc库 ```sh pip install etcd3 grpcio grpcio-tools ``` 2. 启动Etcd服务 可以使用Docker容器启动Etcd服务： ```sh docker run --rm -p 2379:2379 -p 2380:2380 --name etcd quay.io/coreos/etcd:v3.3.8 /usr/local/bin/etcd --advertise-client-urls http://0.0.0.0:2379 --listen-client-urls http://0.0.0.0:2379 --listen-peer-urls http://0.0.0.0:2380 ``` 3. 编写服务代码 首先，定义.proto文件，声明gRPC服务： ```protobuf syntax = "proto3"; package helloworld; service Greeter { rpc SayHello (HelloRequest) returns (HelloReply) {} } message HelloRequest { string name = 1; } message HelloReply { string message = 1; } ``` 然后，使用grpc_tools.protoc工具生成Python代码： ```sh python -m grpc_tools.protoc -I. --python_out=. --grpc_python_out=. helloworld.proto ``` 编写服务实现代码： ```python import grpc import helloworld_pb2 import helloworld_pb2_grpc class Greeter(helloworld_pb2_grpc.GreeterServicer): def SayHello(self, request, context): return helloworld_pb2.HelloReply(message='Hello, %s!' % request.name) server = grpc.server(futures.ThreadPoolExecutor(max_workers=10)) helloworld_pb2_grpc.add_GreeterServicer_to_server(Greeter(), server) server.add_insecure_port('[::]:50051') server.start() server.wait_for_termination() ``` 最后，编写Etcd服务注册和发现代码： ```python import etcd3 class EtcdRegistry(object): def __init__(self, etcd_host, etcd_port, service_name, service_addr): self.etcd = etcd3.client(host=etcd_host, port=etcd_port) self.service_name = service_name self.service_addr = service_addr self.lease_id = None def register(self, ttl=10): self.lease_id = self.etcd.lease(ttl) self.etcd.put('/{}/{}/{}'.format(self.service_name, self.service_addr, self.lease_id), str(self.service_addr), lease=self.lease_id) self.etcd.refresh_lease(self.lease_id) def unregister(self): if self.lease_id: self.etcd.revoke_lease(self.lease_id) ``` 在服务启动时，调用register()方法注册服务，停止时调用unregister()方法注销服务。 最后，通过Etcd的watch方法，实现服务发现： ```python import etcd3 class EtcdDiscovery(object): def __init__(self, etcd_host, etcd_port, service_name): self.etcd = etcd3.client(host=etcd_host, port=etcd_port) self.service_name = service_name def watch(self): for event in self.etcd.watch_prefix('/{}'.format(self.service_name)): if event.event_type == 'PUT': yield event.key.decode(), event.value.decode() ``` 在客户端中，调用watch()方法监听服务节点的变化，获取可用的服务列表。 以上就是将Etcd和gRPC应用于Python微服务的基本步骤。通过Etcd提供的服务注册和发现功能，可以实现高效的微服务治理，提高微服务的可用性和稳定性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值