如何知道一个大模型在推理和训练时需要多少显存
推荐借用工具链接
如果链接打不开,dddd,细说过不了审核
ps:可以在本地运行,但是不推荐
举例:
这个是运行的结果图,下面是需要自己选择的,API我这个不需要就没填写。上面的才是最后想要的结果,第二列属于大型模型需要用到的,我这种小电脑不需要了
图中的“Total Size”就是一个重要参数
请放心,这个工具并不会将模型下载到本地
自己电脑显存查看方式
win +R
之后就会跳转
当然对于部分来讲。英伟达控制面板也是可以的
桌面右键点击英伟达控制面板
左下角的系统信息,
里面有显卡更加详细的资料