我们使用SophonSDK来移植算法和模型,并在X86主机的开发环境上封装和打包算法服务。这里以LPRNet车牌识别算法服务为例进行介绍。相关文件已上传至SOPHGO的demo目录下,主要流程包括以下几步:
1 封装算法服务
我们在x86文件下的main.py中封装了算法接口和HTTP服务。
1.1 算法封装
车牌识别算法比较简单,我们可以把整个算法流程封装到main.py中,并提供算法调用接口。
class LPRNet(object):
...
if __name__ == "__main__":
lprnet = LPRNet()
如果算法比较复杂,涉及多个模型,我们可以把算法的相关代码放至x86文件夹下,在main.py中提供算法调用接口即可。
1.2 服务封装
我们需要在SimpleHTTPRequestHandler中的do_POST函数下定义访问地址、请求方式、返回码、返回信息、调用算法接口、返回结果等。
class SimpleHTTPRequestHandler(BaseHTTPRequestHandler):
......
def do_POST(self):#ip:port/lprnet
path = str(self.path) # 获取请求的url
if path == '/lprnet':
content_length = int(self.headers['Content-Length'])
body = self.rfile.read(content_length).decode('utf-8')
print('body:',body)
jsdata = json.loads(body)
if 'image' not in jsdata:
ret_json = {"Code":1,"Msg":"请求失败,未输入图片"}
self.send_ret(ret_json)
return
image = jsdata['image']
img = base64_to_cv2(image)
if img is None:
ret_json = {"Code":1,"Msg":"请求失败,图片读取失败"}
self.send_ret(ret_json)
return
res = lprnet(img)[0]
ret_json = {"Code":0,"Msg":"请求成功","res":res}
self.send_ret(ret_json)
elif path == '/query':
content_length = int(self.headers['Content-Length'])
body = self.rfile.read(content_length).decode('utf-8')
jsdata = json.loads(body)
# if jsdata['name'] == 'font':
ret_json = {'Code':0,'Msg':'请求成功','result':[{'url':'/lprnet','status':0}]}
self.send_ret(ret_json)
else:
ret_json = {"Code":1,"Msg":"请求失败,url路径错误","res":''}
self.send_ret(ret_json)
我们还需要设置HTTPServer的访问端口。
if __name__ == "__main__":
lprnet = LPRNet()
httpd = HTTPServer(('0.0.0.0', 9093), SimpleHTTPRequestHandler)
httpd.serve_forever()
我们可以在main.sh中定义服务启动命令,并保存相关日志。
#!/bin/bash
python3 main.py >> log.txt 2>&1
1.3 服务测试
算法服务封装好后,我们可以在开发环境的容器中直接运行main.sh,启动服务。
然后在宿主机或其他连通的主机上调用该服务,主要修改访问的IP、端口、地址、请求值、获取返回值等,具体可参考test.py。
python3 test.py
2 准备镜像文件
服务测试通过后,我们需要在开发环境的容器中,将服务所需的文件,包括环境链接库、sail包、代码、模型等,统一拷贝到指定文件夹,方便后续打包服务镜像。具体可参考assemble_x86.sh,需要视情况修改脚本中的文件路径。
./assemble_x86.sh
3 打包服务镜像
3.1 修改Dockerfile
包括安装所需的工具和依赖库、将镜像文件夹添加到镜像中、设置启动命令等等。
FROM debian:9
# 尽量将所有的工具安装放到本层,以减少size
# 不需要的工具尽量移除,调试工具可以在docker中runtime安装,没有必要预装
RUN apt -y update \
# && add-apt-repository ppa:deadsnakes/ppa \
&& apt install -y python3 \
&& apt install -y python3-pip \
&& apt-get install ffmpeg libsm6 libxext6 -y
# Python依赖包在本层安装,并且请指明需要的版本号,以确保每次编译能编译出相同的镜像
RUN python3 -m pip install --upgrade pip \
&& pip3 install pybind11 \
&& pip3 install numpy \
&& pip3 install requests \
&& pip3 install Pillow \
&& pip3 install urllib3 \
&& pip3 install opencv-python
# 设置时区
RUN ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
RUN echo 'Asia/Shanghai' >/etc/timezone
# 将镜像文件夹添加到镜像中
ADD x86 /avs_l1
# 安装sail包
RUN pip3 install /avs_l1/sophon-2.7.0-py3-none-any.whl
# 指定工作目录
WORKDIR /avs_l1
# 指定链接库路径
ENV LD_LIBRARY_PATH=.
# 设置启动命令
ENTRYPOINT ["./main.sh"]
3.2 打包服务镜像
然后,执行./build_docker_x86.sh进行服务镜像打包。需要进入到与镜像文件夹同级的目录中,主要修改dockerfile的相对路径、镜像名、镜像文件名。
# 进入到与镜像文件夹同级的目录中
cd ../../docker
# 创建docker镜像,通过-f指定dockerfile路径,-t指定镜像名
sudo docker build -f ../projects/lprnet_serve/Dockerfile_x86_sail -t avs_lprnet .
# 保存docker镜像,通过-o指定保存的文件名称
sudo docker save avs_lprnet -o avs_lprnet_x86.docker
# 修改镜像文件权限
sudo chmod 666 avs_lprnet_x86.docker
# 删除镜像
sudo docker rmi avs_lprnet
4 服务测试
第一步:加载服务镜像
docker load -i avs_lprnet_x86.docker
注意修改服务镜像路径。
第二步:创建镜像容器,启动服务
./run_docker.sh avs_lprnet:latest lprnet
注意修改镜像名(第1个参数)和容器名(第2个参数),可在脚本中自行更改容器端口映射。
第三步:服务调用与测试示例
sudo python3 test.py
注意修改测试脚本里面的测试图片路径、访问IP、端口、地址、请求值、获取返回值等。
————————————————
版权声明:本文为CSDN博主「weixin_44087610」的原创文章,遵循CC 4.0 BY-SA版权协议