rearrange 和 einsum 真的优雅吗

最新推荐文章于 2024-01-05 16:54:08 发布

wujpbb7

最新推荐文章于 2024-01-05 16:54:08 发布

阅读量750

点赞数

分类专栏：模式识别编程文章标签： pytorch einsum rearrange

本文链接：https://blog.csdn.net/blueblood7/article/details/121223135

版权

模式识别同时被 2 个专栏收录

83 篇文章 2 订阅

订阅专栏

编程

66 篇文章 1 订阅

订阅专栏

本文探讨了使用PyTorch实现的简单QKV模块，通过对比使用Einsum和不使用的方法，展示了它们在代码量和ONNX转换后的相似性。实验结果显示，两种实现方式输出一致，且优化后的ONNX模型表现相近。

摘要由CSDN通过智能技术生成

结论是，还好吧。

从代码量看，差不多：

# -*- coding:utf-8 -*-
import torch
from torch import nn
from torch import einsum
from einops import rearrange

class SimpleQKV(nn.Module):
    def __init__(self, dim, use_ein):
        super().__init__()
        self.proj = nn.Linear(dim, dim*3, bias=False)
        self.dim = dim
        self.scale = self.dim ** -0.5
        self.use_ein = use_ein
        torch.manual_seed(777) # 为了使权重相同，便于比较输出
        nn.init.xavier_uniform_(self.proj.weight)        

    def forward(self, x):
        n,c,h,w = x.shape
        #assert c==self.dim
        if (self.use_ein):
            x = rearrange(x, 'n c h w -> n (h w) c')
        else:
            x = x.permute(0,2,3,1).view(n, -1, c)
        qkv = self.proj(x)        
        q,k,v = qkv.chunk(chunks=3,dim=-1)        
        if (self.use_ein):
            attn = (einsum('n i c, n j c -> n i j', q, k) * self.scale).softmax(dim=-1)        
            v = einsum('n i j, n j c -> n i c', attn, v)
            output = rearrange(v, 'n (h w) c -> n c h w', h=h)
        else:            
            attn = (torch.matmul(q, k.transpose(1,2)) * self.scale).softmax(dim=-1)
            v = torch.matmul(attn, v)
            output = v.permute(0,2,1).view(n,c,h,w)
        
        return output

batch, chan, height, width = 1, 20, 7, 7
simple_qkv_ein = SimpleQKV(chan, True)
simple_qkv_noein = SimpleQKV(chan, False)

x = torch.randn(batch, chan, height, width, device='cpu')
out1 = simple_qkv_ein(x)
out2 = simple_qkv_noein(x)
assert(out1.equal(out2))

# 保存onnx
simple_qkv_ein.eval()
onnx_filename = './simple_qkv_ein.onnx'
torch.onnx.export(simple_qkv_ein, x, onnx_filename,
                  input_names=['input'], output_names=['ouput'],
                  export_params=True, verbose=False, opset_version=12)

simple_qkv_noein.eval()
onnx_filename = './simple_qkv_noein.onnx'
torch.onnx.export(simple_qkv_noein, x, onnx_filename,
                  input_names=['input'], output_names=['ouput'],
                  export_params=True, verbose=False, opset_version=12)

print('save onnx succ.')

从保存的onnx看（经过 onnxsim 优化），也差不多：