在模型部署中考虑使用fast API 部署测试
内容包括启动数据,完成测试以及将数据发送请求并回应。
具体的代码详见github: https://github.com/Aismarter/Fast-api-in-applied
gitee: https://gitee.com/aismarter/Fast-api-in-applied
踩坑记录:
- fastapi在部署与使用过程中极其方便,基于FASTAPI宝库以及uvicorn组件完成,便捷快速又方便。
- FASTAPI在请求应答总体花费时间实测在30ms左右。
- 发起请求get/post似乎看起来上没啥区别,需求不精细的话,可以忽略。
- 与一般的request相比,包含一些header等请求添加件。
- 可以使用model完成自定义传输数据类型的构建。
- FASTAPI有个相关组件可以提供JSON的自动编解码。因此,与一般的json在传输中文字符的过程中会将字符编译成ascii不同,json_decode()模块会将传递的json转化为中文str,字符串。
- 在编写fastapi请求是,建议好好利用的其自带的docs组件,很方便也很便捷,会将请求关键字很清晰的返回出来。
- fast_api对trt部署、异步等请求方式支持度相当不错
- tensorRT部署除了采用这些通用框架,也可以采用tensorRT server
- tensorRT server API部署简单,但接口写的比较死,无法修改