[机器学习]深度学习初学者大疑问之nn.Linear(a,b)到底代表什么?

最新推荐文章于 2024-02-27 14:45:14 发布

五阿哥爱跳舞

最新推荐文章于 2024-02-27 14:45:14 发布

阅读量2.8k

点赞数 12

分类专栏：机器学习文章标签：深度学习机器学习人工智能

本文链接：https://blog.csdn.net/adreammaker/article/details/126507184

版权

机器学习专栏收录该内容

34 篇文章 7 订阅

订阅专栏

背景

nn.Linear()到底是在做什么? 得到了什么

举例说明

net = nn.Sequential(
		#第一层
        nn.Linear(5, 3),
        nn.ReLU(),
        #第二层
        nn.Linear(3, 2),
        nn.ReLU(),
		#第三层(输出层)
        nn.Linear(2, 1)
        )

上面是一个神经网络模型架构的代码,nn.Sequential()指的是,调用pytorch.nn类下的Sequential序列化方法进行模型搭建. 模型中按照顺序,包括了nn.Linear()全链接层和前两层的激活函数nn.RuLU(), 在nn.Sequential中,模型就像是搭积木一样,一层一层的堆叠.
我们用可视化工具来展示上面这个模型的样子:
http://playground.tensorflow.org/
在这里插入图片描述
nn.Linear(5, 3) 这句话,代表了网络的第一层,它有5个输入和3个输出.

什么意思? 初学者看到这里就蒙圈了!!! 什么乱七八糟的,这些线是什么,? 我看不懂, 深度学习太难了.

其实不用着急,只要静下心来,集合公式你就很好理解了.

首先,左边的在这里插入图片描述
这五个,代表的是样本的特征! 5个特征,就说明样本有五维 $x=(x_1,x_2,x_3,x_4,x_5)$ .

那如何从五个特征变成3个特征呢?
在这里插入图片描述
通过矩阵运算的知识,我们可以直接的想到下面的公式:
$[x_1,x_2,x_3,x_4,x_5]_{1\times5} \times W_{5\times3}=[x_{new1},x_{new2},x_{new3}]$
这很容易想到,那么nn.Linear(5,3)这句话的目的,就是生成一个 $W_{5\times3}来对特征的维度进行变换$
那么对应到图像上W到底表示什么呢? 其实表示的就是中间这些线.
我们举个例子来看一下:
$\begin{bmatrix} w_{11} & w_{12} & w_{13} \\ w_{21} & w_{22} & w_{23} \\ w_{31} & w_{32} & w_{33}\\ w_{41} & w_{42} & w_{43}\\ w_{51} & w_{52} & w_{53} \end{bmatrix} \tag{2}$
这个矩阵中的第一行,其实就代表右输入的第一个特征出发,到输出的三个神经元上的线. 如下图所示
在这里插入图片描述
一个神经元有三条线,五个就是5*3,因此就构成一个矩阵 $W_{5\times3}$ ,同时图像和W之间也11对应起来了.