系统环境:centos 8.5 2111
硬件:I5 7500
内存:16G DDR4
硬盘:机械2T
显卡:技嘉2060 12G
电源:航嘉500W
使用 nvidia-smi命令查看显卡负载
GPU使用率:83% 功率:180W左右 显存:11G,基本顶满,(运行过32B模型,显存会溢出,很卡)
内存基本不会使用
可以看出2060显卡12G最多可以跑14B模型,吃显存比较多,所以用显存大的显卡更好一些,32B模型我想应该需要4090 24G吧。
系统环境:centos 8.5 2111
硬件:I5 7500
内存:16G DDR4
硬盘:机械2T
显卡:技嘉2060 12G
电源:航嘉500W
使用 nvidia-smi命令查看显卡负载
GPU使用率:83% 功率:180W左右 显存:11G,基本顶满,(运行过32B模型,显存会溢出,很卡)
内存基本不会使用
可以看出2060显卡12G最多可以跑14B模型,吃显存比较多,所以用显存大的显卡更好一些,32B模型我想应该需要4090 24G吧。