人工智能_大模型011_CPU微调_训练_显卡的选型讲解_价格表_011---人工智能工作笔记0146

   既然CPU训练大模型无法实现那么就只能购置GPU显卡来进行训练了,来看看如何选型显卡.

之前是没有GPU的,由于游戏行业对画质的需求,催生出了GPU,GPU优势是支持并行计算,可以几千个小核心同时计算,但是有个问题,如何把一个我们需要计算的问题,拆解成1000个或更多小问题,让GPU并行计算呢?

    2006年就研发出CUDA平台,CUDA平台允许,一个问题被拆解成很多小问题这样就可以用GPU并行计算.

可以看到几乎百分之90的大模型,都需要使用GPU进行训练

这里模型的精度是,参数量化后的值,单精度就是32位,半精度是16位,16位半精度计算需要GPU支持,

然后这里的FLOAT32是标准的推理和训练格式,这里的INT8表示保留量化后的32位中的后8位,或者后4位,后16位.

需要根据需求选择显卡,如果仅仅是回答问题,不进行训练和微调,只用推理的话,就单精度最大用到20G显存.

可以看到这里,如果我们个人用的话还是以消