李沐动手学视频学习笔记和知识补充-16神经网络基础

1.nn.Parmeter()

将不可训练类型Tensor转换成可被module训练类型parameter，加入到parameter()这个迭代器中。需要注意普通的tensor使不在parameter中的，一般网络参数都是parameter。

parameter.data返回parameter中的数据

2.自定义层也是nn.Module的一个子类，

我们可以通过基本层类设计自定义层。这允许我们定义灵活的新层，其行为与深度学习框架中的任何现有层不同。

在自定义层定义完成后，我们就可以在任意环境和网络架构中调用该自定义层。

层可以有局部参数，这些参数可以通过内置函数创建

# 初始化带参数的层
class MyLinear(nn.Module):
    def __init__(self,in_units,units):
        super().__init__()
        self.weight = nn.Parameter(torch.randn(in_units,units))#parameter使数据变成有梯度的数据
        self.bias = nn.Parameter(torch.randn(units,))
    
    def forward(self,X):
        linear = torch.matmul(X,self.weight.data)+self.bias.data
        return F.relu(linear)

3.torch.matmul(矩阵1，矩阵2)是矩阵乘法