微服务架构下RPC IDL及代码如何统一管理？

最新推荐文章于 2024-05-10 09:48:46 发布

韩亚军

最新推荐文章于 2024-05-10 09:48:46 发布

阅读量1.8k

点赞数

分类专栏：微服务文章标签：微服务 IDL rpc

本文链接：https://blog.csdn.net/hanyajun0123/article/details/110149635

版权

微服务专栏收录该内容

1 篇文章 0 订阅

订阅专栏

背景

随着云原生技术的日益发展和普及，微服务架构下多语言(python,go,php…)多系统之间通过rpc来通信，一旦接口需要升级，协调 server 端有发布和升级，IDL 文件仓库的变更，client 端变更发布就变成了一个很麻烦的事情。我们需要一个方便透明的规范来协调各端，一个更加自动化的工具来协同。以主流的grpc为例来探讨下，这个 proto 及代码到底放在哪里？应该如何做到自动化版本控制？

方案一：放在各自的代码仓库

如下图所示，直接将项目所依赖到的以及自己的所有 proto 文件和client代码都存放在 protobuf/ 目录下，不借助外部工具。

很明显该方案有以下优缺点。

缺点：

1️⃣　项目所有依赖的 proto 都存储在各自项目的代码仓库下，因此所有依赖 proto 都需要人工的向其它业务组 “要” 来，再放到 protobuf/ 目录下，人工介入极度麻烦。依赖多了拷贝会成为一种负担。
2️⃣　版本的控制和更新没有办法去维护，沟通成本太高。
3️⃣　代码的复用性比较差。

优点：

简单易用，每个项目的proto依赖一目了然。不需要看这看那。

方案二：独立proto仓库

每个项目都有自己的proto仓库。需要依赖的都从proto仓库拉(包括服务自己)。

不过这种方式也是有比较明显的缺点：

缺点：

1️⃣　各服务需要同时关注自己的服务本身还有服务的proto仓库，开发时需要先在proto仓库定义好proto和生成好client代码，所以在开发时需要在服务仓库和proto仓库切换。
2️⃣　如果服务依赖的太多，也有可能跨业务组，例如下图，如果跨组之后，可能需求找业务组负责人开多个proto仓库权限。还需要一个一个地去依赖。

3️⃣　每次有新的服务都需要对应去申请一个proto仓库比较麻烦。

优点：

1️⃣　各自服务有各自的proto仓库，方便版本维护和升级。
2️⃣　依赖时可以按需拉取。

方案三：集中仓库

按业务组维度来管理proto仓库，这样的话如果依赖某个业务组多个依赖时只需要拉取一个proto仓库即可。同时每次新起一个服务时，只需要在各自业务组的prooto仓库加上自己服务的，不需要单独去申请一个自己服务的proto仓库。

优点：

1️⃣　依赖多个服务的proto时只需要依赖中央仓库即可。
2️⃣　新增服务时不需要单独去申请proto仓库，只需要在各自业务组的proto仓库添加即可。

缺点：

1️⃣　各服务开发时还是需要关注两个仓库，需要切来切去。
2️⃣　每个中央仓库下不能独立的对各服务的proto进行版本管理。
3️⃣　可能只依赖某个svc的proto，而多引入了一些其他不必要的。

方案四：镜像仓库+git branch

为解决上述方案的一些痛点，综合各方案的优点我们在中央仓库的基础之上采取了镜像仓库结合git branch的方式。

说明：

1️⃣　各业务组的中央仓库的master的readme维护了各分支和各服务的对应关系，如下图。

2️⃣　这样主要是为了新增新的svc时可以拿到下一个分支的分支名(由于go.mod的分支版本管理限制，只能以V2，V3这种命名)，同时方便人们去辨识自己依赖的svc在哪个模块。common表示是所有svc proto的集合分支。每次新增一个服务时便会在cicd的过程中往这个reame添加说明。
3️⃣　中央仓库的分支的readme维护了各自自己的版本情况。

4️⃣　使用时可以根据自己的需要去依赖对应的分支的版本即可。
5️⃣　python cleint版本和go的版本都是一一对应的。

6️⃣　各svc只需要依赖一个.gitlab.yml文件即可实现。具体的gitlab cicd的job如下：


.push_tmpl: &push_proto
  script:
    - echo "push test"
    - echo $CI_PROJECT_NAME
    - |
      userMail=$GITLAB_USER_EMAIL
      git config --global user.email "$GITLAB_USER_EMAIL"
      userName=${userMail%@*}
      echo "$userMail"
      git config --global user.name "$userName"
      git clone -v https://xxxxx/proto-center.git
      cd proto-center
      if [ `grep -c $CI_PROJECT_NAME README.md` -eq '0' ];then
        echo "- $CI_PROJECT_NAME-->v$(sed -n '$p' README.md | awk -F "-->v" '{print $2+1}' | head)" >>README.md
        export branchName=$(sed -n '$p' README.md | awk -F "-->" '{print $2}')
        echo $branchName
        git add . && git commit -m "add $CI_PROJECT_NAME "
        git push  https://xxxxxxxx/proto-center.git master
        git checkout -b $branchName
        mkdir -p $CI_PROJECT_NAME && cp -r ../protobuf/* $CI_PROJECT_NAME/
        go mod init xxxxxxxx/proto-center/$branchName
        go mod tidy
        git add .
        git commit -m "add  $CI_PROJECT_NAME proto"
        git push --set-upstream https:/xxxxxxxx/proto-center.git $branchName
        git checkout v2
        mkdir -p $CI_PROJECT_NAME && cp -r ../protobuf/* $CI_PROJECT_NAME/
        git add .
        git commit -m "add  $CI_PROJECT_NAME proto"
        git push  https://xxxxxxxx/proto-center.git v2
      else
        export branchName=$(grep $CI_PROJECT_NAME README.md  | awk -F "-->" '{print $2}' | head)
        git checkout $branchName
        rm -rf $CI_PROJECT_NAME/
        mkdir -p $CI_PROJECT_NAME
        cp -r ../protobuf/* $CI_PROJECT_NAME/ && git add .
        git commit -m "update  $CI_PROJECT_NAME proto"
        git push https://xxxxxxxx/proto-center.git $branchName;
        git checkout v2
        rm -rf $CI_PROJECT_NAME/
        mkdir -p $CI_PROJECT_NAME
        cp -r ../protobuf/* $CI_PROJECT_NAME/ && git add .
        git commit -m "update  $CI_PROJECT_NAME proto"
        git push https://xxxxxxxx/proto-center.git v2;
      fi

7️⃣　中央仓库的gitlab的cicd的job如下：

.buld_tmpl: &tag_proto

  script:
    - echo "tag proto "
    - |
      userMail=$GITLAB_USER_EMAIL
      userName=${userMail%@*}
      echo "$userMail"
      git config --global user.email $userMail
      git config --global user.name $userName
      branch=$CI_BUILD_REF_NAME
      isnottag="false"
      git describe --tag || isnottag="true"
      git clone -b $branch -v https://xxxxx/proto-center.git
      cd proto-center
      userMail=$( git log --pretty=format:%ae ${CI_COMMIT_SHA} -1)
      userName=${userMail%@*}
      echo "$userMail"
      git config --global user.email $userMail
      git config --global user.name $userName
      version=""
      if [ $isnottag = "true" ];then
        echo $isnottag
        version=$branch.0.1
        echo $version
        git tag $version
        git push  https://xxxxx/proto-center.git --tags
        echo "- $version" >> README.md
        git add .
        git commit -m "add $version"
        git push  https://xxxxx/proto-center.git $branch
      else
        echo $isnottag
        version_ref=$(git describe --tags | awk -F "-" '{print $1}' | head)
        echo $version_ref
        version=`echo $version_ref | awk -F. -v OFS=. 'NF==1{print ++$NF}; NF>1{if(length($NF+1)>length($NF))$(NF-1)++; $NF=sprintf("%0*d", length($NF), ($NF+1)%(10^length($NF))); print}'`
        echo $version
        git tag $version
        git push  https://xxxxx/proto-center.git  --tags
        echo "- $version" >> README.md
        git add .
        git commit -m "add $version"
        git push  https://xxxxx/proto-center.git $branch
      fi
      mkdir -p python
      cp -r **/*.proto python
      pkgName=$( grep "\\-->" README.md | tail -1 | awk -F "-->v" '{print $1}' | awk -F " " '{print $2}')
      pkgName=${pkgName//-/_}
      echo $pkgName
      export pip_pkg_name=$pkgName
      echo $version
      export pip_tag_name=$version
      pip install grpcio-tools==1.4.0
      pip install protobuf==3.3.0
      echo "#!/bin/env python
      # -*- encoding=utf8 -*-
      import os
      from setuptools import (setup, find_packages)
      version = os.getenv('pip_tag_name')
      name = os.getenv('pip_pkg_name')
      setup(
        name=name,
        version=version,
        description='LLS grpc protocol',
        packages=find_packages(exclude=[]),
        include_package_data=True,
        author='LLS DEV Team',
        author_email='',
        package_data={'': ['*.*']},
        install_requires=[
          'grpcio==1.18.0',
          'protobuf==3.3.0'
        ],
        zip_safe=False,
        classifiers=[
          'Programming Language :: python :: 2.7',
        ],
      )" > python/setup.py
      echo "
      [distutils]
      index-servers = internal

      [internal]
      repository: https://xxxxx.com/
      username: xxxxx
      password: xxxxx
      " > ~/.pypirc
      mkdir -p python/$pkgName
      echo "" >> python/$pkgName/__init__.py
      python -m grpc_tools.protoc -I python/ --python_out=python/$pkgName --grpc_python_out=python/$pkgName/ python/*.proto
      cd python
      ls
      python setup.py bdist_wheel upload -r internal
      cd ..
      mkdir -p python3
      cp -r -n **/*.proto python3
      echo "#!/bin/env python
      # -*- encoding=utf8 -*-
      import os
      from setuptools import (setup, find_packages)
      version = os.getenv('pip_tag_name')
      name = os.getenv('pip_pkg_name')
      setup(
      name=name,
      version=version,
      description='LLS grpc protocol',
      packages=find_packages(exclude=[]),
      include_package_data=True,
      author='LLS DEV Team',
      author_email='',
      package_data={'': ['*.*']},
      install_requires=[
        'grpcio==1.18.0',
        'protobuf==3.12.4'
      ],
      zip_safe=False,
      classifiers=[
        'Programming Language :: python :: 3.7',
      ],
      )" > python3/setup.py
      python3 -m pip install grpcio-tools==1.4.0
      python3 -m pip install protobuf
      mkdir -p python3/$pkgName
      echo "" >> python3/$pkgName/__init__.py
      python3 -m grpc_tools.protoc -I python3/ --python_out=python3/$pkgName --grpc_python_out=python3/$pkgName/  python3/*.proto
      cd python3/$pkgName
      ls
      pb_files=`ls | grep -v '__init__' | grep -v 'grpc.py'`
      echo $pb_files
      need_replace_strs=()
      for pb_file in ${pb_files[@]}
      do
          prefix=${pb_file/.py/}
          after_handle_package_name=${prefix//_/__}
          need_replace_str="import $prefix as $after_handle_package_name"
          echo $need_replace_str
          need_replace_strs[${#need_replace_strs[@]}]="$need_replace_str"
          #echo ${need_replace_strs[0]}
      done
      
      need_replace_str_num=${#need_replace_strs[@]}
      all_files=`ls | grep -v '__init__'`
      echo $all_files
      for file in ${all_files[@]}
      do
          for ((i=0;i<$need_replace_str_num;i++))
          do
              need_replace_str=${need_replace_strs[${i}]}
              echo $need_replace_str
              sed -i  "s/^$need_replace_str$/from . $need_replace_str/" $file
          done
      done
      echo "finished"
      cd ..
      python3 setup.py bdist_wheel upload -r internal
      echo ${CI_COMMIT_SHA}
      noticeMail=$userMail
      content="\nversion: $version\nproject: $pkgName\ncommit:\nhttps://xxxxx/proto-center/commit/${CI_COMMIT_SHA}\n"
      curl --location --request POST 'https://xxxxx/webhookurl' \
      --header 'Content-Type: application/json' \
      --data-raw '{
          "text": {
              "msg":"'"${content}"'"
          }
      }'

8️⃣　构建完通知，在中央仓库的job里面可以添加钉钉，微信，slack这种类似的机器人🤖通知方便我们知道proto cicd流程的情况，可以带上我们的commit信息以及对应的版本。

总结

总的来说，还有很多方案，每种方案都各有利弊，适合业务系统架构和公司组织机构的才是最好的方案，不过尽量通过工具来减少人肉的过程，提高效率。

参考链接

https://eddycjy.com/posts/where-is-proto
https://segmentfault.com/a/1190000022532645

韩亚军

关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
1
评论
微服务架构下RPC IDL及代码如何统一管理？

背景随着云原生技术的日益发展和普及，微服务架构下多语言(python,go,php…)多系统之间通过rpc来通信，一旦接口需要升级，协调 server 端有发布和升级，IDL 文件仓库的变更，client 端变更发布就变成了一个很麻烦的事情。我们需要一个方便透明的规范来协调各端，一个更加自动化的工具来协同。以主流的grpc为例来探讨下，这个 proto 及代码到底放在哪里？应该如何做到自动化版本控制？方案一：放在各自的代码仓库如下图所示，直接将项目所依赖到的以及自己的所有 proto 文件和cli
复制链接

扫一扫

专栏目录