Flask 推理MXnet 模型时显存泄漏

1.问题描述

使用Flask做MXnet模型推理API时，每调用一次API，显存持续增长，直至最终显存爆炸强制退出程序。 注：使用MXnet做模型推理时，存在输入图片size不固定的情况。

2.解决方法

1）flask2.0的app.run()中默认打开了threaded=True来支持多线程并发请求，从而导致显存泄漏。

最简单的解决方法为：把多线程改为单线程，设置app.run()中threaded和debug为False。示例如下：

2）使用MXnet做图片的模型推理时，若不固定输入图片的size，每次resize图片尺寸，mxnet都将开启一块新的显存用于存储，导致显存增加，看着就像“显存泄漏”，但理论上存在