用einsum实现的multihead相比于torch官方版本效果相差数倍,定位发现是einsum相比matmul的效率差的较多。
pytorch矩阵相乘效率提升之路
最新推荐文章于 2024-04-15 11:28:02 发布
用einsum实现的multihead相比于torch官方版本效果相差数倍,定位发现是einsum相比matmul的效率差的较多。