Fast_API 部署 测试 实例

在模型部署中考虑使用fast API 部署测试

内容包括启动数据，完成测试以及将数据发送请求并回应。

具体的代码详见github: https://github.com/Aismarter/Fast-api-in-applied

gitee: https://gitee.com/aismarter/Fast-api-in-applied

 

踩坑记录：

1. fastapi在部署与使用过程中极其方便，基于FASTAPI宝库以及uvicorn组件完成，便捷快速又方便。
2. FASTAPI在请求应答总体花费时间实测在30ms左右。
3. 发起请求get/post似乎看起来上没啥区别，需求不精细的话，可以忽略。
4.  与一般的request相比，包含一些header等请求添加件。
5. 可以使用model完成自定义传输数据类型的构建。
6. FASTAPI有个相关组件可以提供JSON的自动编解码。因此，与一般的json在传输中文字符的过程中会将字符编译成ascii不同，json_decode（）模块会将传递的json转化为中文str，字符串。
7. 在编写fastapi请求是，建议好好利用的其自带的docs组件，很方便也很便捷，会将请求关键字很清晰的返回出来。
8. fast_api对trt部署、异步等请求方式支持度相当不错
9. tensorRT部署除了采用这些通用框架，也可以采用tensorRT server
10. tensorRT server API部署简单，但接口写的比较死，无法修改