
大模型计算及GPU相关概念记录
它们适用于不同的计算需求。一般来说,单精度适合一般计算,双精度适合科学计算,扩展双精度适合高精度计算。一个遵循 IEEE 754标准的系统必须支持单精度类型(强制类型),最好也支持双精度类型(推荐类型),而扩展双精度类型则是可选的。算力最基本的计量单位是 FLOPS,英文 Floating-point Operations Per Second,即每秒执行的浮点运算次数。浮点运算其实就是带小数的加减乘除运算。训练总算力(Flops)= 6 * 模型的参数量 * 训练数据的 token 数。













