pytorch---parameters学习

(1)parameters()

import torch.nn as nn
net = nn.Sequential(nn.Linear(4,2),nn.Linear(2,2))
list(net.parameters())

输出如下

list(net.parameters())[0].shape

torch.Size([2, 4])

list(net.parameters())[3].shape

torch.Size([2])
权重矩阵存在转置的情况

(2)named_parameters()

list(net.named_parameters())

dict(net.named_parameters()).items()

optimizer = optim.SGD(net.parameters(),lr=1e-3)

使用net.parameters()把所有的参数都传到优化器里

class BasicNet(nn.Module):
    def __init__(self):
        super(BasicNet,self).__init__()
        self.net = nn.Linear(4,3)
        
    def forward(self,x):
        return self.net(x)
    
class Net(nn.Module):
    def __init__(self):
        super(Net,self).__init__()
        self.net = nn.Sequential(BasicNet(),
                                nn.ReLU(),
                                nn.Linear(3,2))
        
    def forward(self,x):
        return self.net(x)
 
net = Net()
list(net.named_parameters())

nn.ReLU()没有参数

(3)一些学习文章
nn.Parameter()讲解
net.parameters()
nn.Sequential类详解

Containers
torch.nn的一些总结
nn.Modlue及nn.Linear 源码理解
Pytorch.nn.Linear 解析（数学角度）
self.modules() 和 self.children()的区别