pytorch中的.mm

最新推荐文章于 2024-04-20 13:24:47 发布

骑猪的骑士

最新推荐文章于 2024-04-20 13:24:47 发布

阅读量3.6k

点赞数 7

分类专栏： pytroch 文章标签： python 深度学习 pytorch

本文链接：https://blog.csdn.net/weixin_45769108/article/details/117233983

版权

pytroch 专栏收录该内容

8 篇文章 1 订阅

订阅专栏

本文介绍了PyTorch中线性层Linear的实现，重点讲解了前向传播过程中x.mm()函数的作用。该函数用于矩阵乘法，注意输入参数的顺序和类型。在使用时，权重w需要作为Module的Parameter，输入x需转换为变量。通过示例代码展示了Linear层如何对输入进行处理并得到输出。

摘要由CSDN通过智能技术生成

在pytorch中的前向计算中经常会碰到x.mm()这个函数，先看一段代码

class Linear(nn.Module):
    def __init__(self,in_feature,out_feature):
        super(Linear,self).__init__() 
        self.w=nn.Parameter(t.randn(in_feature,out_feature)) 
        self.b=nn.Parameter(t.randn(out_feature))
    
    def forward(self,x):
        x=x.mm(self.w)
        return x+self.b.expand_as(x)
    
layer=Linear(4,3)
input=V(t.randn(2,4))
output=layer(input)
output

输出结果：

tensor([[-2.3766, -2.5417,  3.6651],
        [-0.4582, -0.3701,  1.0399]], grad_fn=<AddBackward0>)

在前向计算中x.mm的作用是将参数和变量相乘，但是这里有两个要注意的地方：
1是w和x相乘的时候的顺序是x*w
2是w和x的类型，x必须是tensor，如果w需要训练的话则需要将其加入到Module中的parameter（参数迭代器）中，特别注意一点的是：在pytorch中tensor是不能进行训练的。而且input送入网络计算之前，需要将tensor变成变量。