压力测试接口的线程数不大按时出现oom的解决方案

问题描述

在测试接口压力的时候出现oom的情况，一开跑就oom，接口直接被killed

查看一下监视器cup情况，发现启动的时候就已经不行了

然后叫我就把加载模型放到了接口函数外面，但是还是会oom

解决方案

然后加上这句话，把初始化加载的模型全局定义，然后使用：

with torch.no_grad():

就好了

尝试搞清楚原因：
 

1. 模型的生命周期：在PyTorch中，当你定义一个模型（如一个神经网络）时，这个模型对象（假设你将其命名为net）在Python中是一个对象。默认情况下，这个模型对象的行为可能受到Python的垃圾回收机制影响。如果你在函数调用中创建了模型对象但没有将其保持在一个持久的变量中（例如，作为一个类的成员变量或全局变量），那么当函数返回时，Python的垃圾回收机制可能会认为这个模型对象不再需要，并尝试回收其占用的内存。但是，如果模型对象正在被其他对象（如计算图）引用，或者它正在执行某些操作（如正在等待的异步操作），那么它可能不会被立即回收。
2. 使用global关键字：当你在函数内部使用global关键字声明一个变量时，你告诉Python这个变量是一个全局变量，而不是局部变量。因此，即使函数返回，这个全局变量也会保持其值，并且不会被垃圾回收。在你的情况下，当你将net声明为全局变量时，它会在整个程序的生命周期内保持活动状态，从而确保PyTorch不会意外地释放与其关联的内存。
3. 在测试阶段或某些特定的预测任务中。可以使用torch.no_grad()上下文管理器来禁用梯度计算，从而节省内存和计算资源.

参考：别再混淆了！model.eval()和torch.no_grad()的区别一次讲清楚_model.eval和torch.nograd-CSDN博客

如有什么说的不对的地方，请各位大佬指点一二，互相学习交流~~