立即学习:https://edu.csdn.net/course/play/28807/427191?utm_source=blogtoedu
目录
1、简介
Full Pipeline —— 模拟部署完整AI应用流程
1、寻找解码密度
- 使用OpenCV或GSTREAMER,并且在测试中不断增加通道数,直到每秒帧速率降至最低要求以下
2、基准测试与测量推理性能
- 使用Benchmark和性能计数器来计算推理性能,但是假设有3个或4个模型并行运行的时候,如何测量推理性能?如果有一个特殊视频如何处理?如何将所有要素整理起来?如何解决解码10个视频流的解码密度问题?这并不意味着我可以对10个视频流进行解码与推理,也许可以同时对8个视频进行解码与推理,但是这需要实验确认。
- 因此测量性能的最佳方法是快速构建一个真实流水线,这个流水线应用要看起来尽可能接近实际应用。
- 输入内容最好是产品中应用的视频
- 输出内容也要尽可能符合这个要求
2、DL-Streamer框架
- 可以构建计算图和流水线
3、 完整流水线流程
- —— 表示输入视频文件 / RTSP流 / 摄像头
-
感叹号表示新的流水线阶段
-
—— 解码输入视频
-
—— 转换为下一阶段所需要的正确格式
-
以上皆为预处理
-
以下开始推理
-
—— 执行检测的命令,可以在此使用json命令,在此输入所有指定的参数
- —— 执行分类推理
- —— 在原始图像上绘制检测与分类结果