tensor core int8矩阵乘法
最近在研究tensor core 加速,文档中提到在turing 架构之后,tensor core 就支持了int8 的矩阵运算,但是网上文档相对较少,收集了几个文档备查。
第一个链接是NV 官方关于tensor core 的介绍,重点讲了几个问题,输入大小限制,带宽限制。
输入限制,要求输入是8/16/64/128的整数倍,例如
linear batchsize 应该是8(fp16)/16(int8)的倍数
conv, channel 是 8(fp16)/16(int8)的倍数
gemm, 维度是6
原创
2022-01-14 14:21:56 ·
2079 阅读 ·
0 评论