基于gRPC实现的异步推理框架

该项目是基于gRPC实现的异步推理框架。服务端采用python实现,客户端封装了grpc,对外仅提供推理相关的三个c接口,可用于跨进程推理。

1.创建容器

mkdir rpc
cd rpc
docker stop rpc
docker rm rpc
docker run -ti --privileged --net=host -v $PWD:/home -w /home --name rpc  ubuntu:22.04 /bin/bash
docker start rpc
docker exec -ti rpc /bin/bash

2.修改apt源

sed -i "s@http://.*archive.ubuntu.com@http://repo.huaweicloud.com@g" /etc/apt/sources.list