python consul_python与consul 实现gRPC服务注册-发现

背景

通过对gRPC的介绍我们知道，当正常启动服务后，我们只需要知道ip，port就可以进行gRPC的连接。可以想到，这种方式并不适合用于线上环境，因为这样直连的话就失去了扩展性，当需要多机部署的时候，就无法在线上环境直接使用，而且当线上项目连接的那台服务器宕了的话，整个项目也会出错，这并不是我们想要的结果。

于是,我们需要一个服务注册与发现的机制。也就是说当我们的rpc服务启动的时候注册到另一个服务器，然后客户端连接的时候去查找对应的服务，得到相应的ip，port，然后就可以顺利进行连接了。这种方式也就是服务注册与发现，目前有zoomkeper, consul, 因为自己对zookeeper不熟悉，所以这里选用consul。整个流程如图所示

consul 的安装

通过docker

运行如下命令:

docker run -d -p 8500:8500 consul consul agent -data-dir=/consul/data -config-dir=/consul/config -dev -client=0.0.0.0 -bind=0.0.0.0

通过其它方式

安装方式参考https://www.consul.io/intro/getting-started/install.html

安装完后运行：

consul agent --data-dir . -server -ui -bootstrap -bind=127.0.0.1

无论哪种方式，运行完之后在浏览器中打开 http://127.0.0.1:8500/ui， 可以看到如下内容

服务注册

已之前介绍的gRPC代码为基础，我们加入服务注册部分（注：本人环境为python3， 需要python2的，自己进行修改）

import time

import grpc

import consul

import json

from concurrent import futures

import test_pb2_grpc

import test_pb2

def test(request, context):

# 实际调用到的函数

json_response = test_pb2.JSONResponse()

json_response.rst_string = json.dumps({"ret":"Hi gRPC"})# 构造出proto文件中定义的返回值格式

return json_response

class OrderHandler(test_pb2_grpc.OrderHandlerServicer):

def create_order(self, request, context):

return test(request, context)

def register(server_name, ip, port):

c = consul.Consul() # 连接consul 服务器，默认是127.0.0.1，可用host参数指定host

print(f"开始注册服务{server_name}")

check = consul.Check.tcp(ip, port, "10s") # 健康检查的ip，端口，检查时间

c.agent.service.register(server_name, f"{server_name}-{ip}-{port}",

address=ip, port=port, check=check) # 注册服务部分

print(f"注册服务{server_name}成功")

def unregister(server_name, ip, port):

c = consul.Consul()

print(f"开始退出服务{server_name}")

c.agent.service.deregister(f'{server_name}-{ip}-{port}')

def serve():

server = grpc.server(futures.ThreadPoolExecutor(max_workers=10))

test_pb2_grpc.add_OrderHandlerServicer_to_server(OrderHandler(), server)

server.add_insecure_port('[::]:{}'.format(12006))

register("order_server", "0.0.0.0", 12006)

server.start()

try:

while True:

time.sleep(186400)

except KeyboardInterrupt:

unregister("order_server", "0.0.0.0", 12006)

server.stop(0)

serve()

要运行此服务需要先安装 python-consul pip install python-consul

运行此服务，在浏览器中会出现我们刚刚注册的服务，和可用节点，健康信息，如图

当使用ctrl+c 退出服务时，会取消注册。也就是会从consul列表里消失。

注意： 当健康检测失败时，并不意味着服务有问题，仅表示consul服务器和对应的rpc服务的端口连不上而已

rpc客户端连接

客户端需要向consul服务器请求，得到可用的rpc服务的ip，端口，在进行连接，我们还是基于之前的客户端代码进行修改，完整代码如下：

import grpc

from dns import resolver

from dns.exception import DNSException

import test_pb2_grpc

import test_pb2

# 连接consul服务，作为dns服务器

consul_resolver = resolver.Resolver()

consul_resolver.port = 8600

consul_resolver.nameservers=["127.0.0.1"]

def get_ip_port(server_name):

'''查询出可用的一个ip，和端口'''

try:

dnsanswer = consul_resolver.query(f'{server_name}.service.consul', "A")

dnsanswer_srv = consul_resolver.query(f"{server_name}.service.consul", "SRV")

except DNSException:

return None, None

return dnsanswer[0].address, dnsanswer_srv[0].port

ip, port = get_ip_port("order_server")

channel = grpc.insecure_channel(f"{ip}:{port}")

stub = test_pb2_grpc.OrderHandlerStub(channel)

# 要完成请求需要先构造出proto文件中定义的请求格式

ret = stub.create_order(test_pb2.OrderRequest(phone="12990", price="50"))

print(ret.rst_string)

总结

至此，我们已经搭建好了一套简单服务注册-发现系统。当然consul的功能远不止这一点，它还支持分布式，多节点部署。需要了解更多，可以去官网做进一步了解。

踩过的坑

在示例中，我们只捕获了ctrl+c 信号，在实际中，服务会因为一些奇怪的问题宕掉，而此时，该节点信息会一直在consul里面，除非手动注销，所以需要捕获所有异常信号。

单节点的时候，consul服务挂掉会影响所有相关的项目，所以最好还是有从节点。