Linear深入分析

最新推荐文章于 2024-04-04 00:30:00 发布

365JHWZGo

最新推荐文章于 2024-04-04 00:30:00 发布

阅读量2.5k

点赞数

文章标签： pytorch 深度学习 python

本文链接：https://blog.csdn.net/qq_44833392/article/details/121954948

版权

NLP模型学习专栏收录该内容

64 篇文章 0 订阅

订阅专栏

本文介绍了PyTorch中的线性层（Linear）的使用，通过一个Demo展示了如何创建和应用Linear模块。线性层主要进行矩阵乘法操作，实现输入特征到输出特征的线性变换。在代码中，我们定义了一个Demo类，包含两个输入的线性变换，并给出了运行结果。线性层的权重W和偏置b由模型自动生成，用户可选择是否包含偏置。总结部分强调了Linear在神经网络中的作用及其参数设置。

摘要由CSDN通过智能技术生成

文章目录

题目

'''
Description: Linear
Autor: 365JHWZGo
Date: 2021-12-15 15:17:55
LastEditors: 365JHWZGo
LastEditTime: 2021-12-15 16:06:23
'''

代码

import torch 
import torch.nn as nn

class Demo(nn.Module):
    def __init__(self,input_size,output_size):
        super(Demo,self).__init__()
        self.input_size = input_size
        self.output_size = output_size
        self.linear = nn.Linear(self.input_size,self.output_size)

    def forward(self,inp,out):
        output1 = self.linear(inp)
        output2 = self.linear(out)
        return output1,output2


if __name__ == '__main__':
    input_size = 4
    output_size =5
    

    demo = Demo(input_size,output_size)
    x = torch.randn(2,4)
    y = torch.randn(3,4)
    out1,out2 = demo(x,y)
    print(out1)
    print(out2)

运行结果

在这里插入图片描述

总结

Linear的作用是进行线性变化，实质上矩阵的乘法
$y = W * x + b$
W是权重，b是偏置

特征	W	b
维度	(out_features，in_features)	(out_features，1)

特征	x	y
维度	(in_features，random_input_size)	(out_features，random_input_size)

Linear类中init的定义

class Linear(Module):
	def __init__(self, in_features: int, out_features: int, bias: bool = True,device=None, dtype=None) -> None:
        factory_kwargs = {'device': device, 'dtype': dtype}
        super(Linear, self).__init__()
        self.in_features = in_features
        self.out_features = out_features
        self.weight = Parameter(torch.empty((out_features, in_features), **factory_kwargs))
        if bias:
            self.bias = Parameter(torch.empty(out_features, **factory_kwargs))
        else:
            self.register_parameter('bias', None)
        self.reset_parameters()

从中可以看出Linear是自己创造出W，bias是根据用户是否输入，如果为True，则
self.bias = Parameter(torch.empty(out_features, **factory_kwargs))，否则self.register_parameter('bias', None)