Pytorch常用API(4)

二维卷积

conv2d = nn.Conv2d(1, 1, kernel_size=(3, 5), padding=(0, 1), stride=(3, 4))

kernel_size = (kernel_h,kernel_w)
padding = (padding_h,padding_w)
stride = (stride_h,stride_w)

矩阵乘法

result = torch.mm(w,x)

可学习参数

p = torch.nn.Parameter(torch.FloatTensor(1), requires_grad=True)

打印模型参数/打印模型结构

class Net(nn.Module):
    def __init__(self) -> None:
        super().__init__()
        self.conv1 = nn.Conv2d(3,30,kernel_size=3)
        self.sequencial = nn.Sequential(nn.Linear(38880,1000),
                                        nn.ReLU(),
                                        nn.Linear(1000,100),
                                        nn.ReLU(),
                                        nn.Linear(100,10),
                                        nn.ReLU())

    def forward(self,x):
        return self.sequencial(self.conv1(x).flatten())

net = Net()

• 打印全部模型参数

for name,param in net.named_parameters():
     print(name,' ',param)

• 打印全连接层的参数

for block in net1._modules.values():
    print(block[0].weight)
    print(block[0].bias)
    print(block.state_dict())#weight and bias

• 根据模型名字打印参数

print(net.state_dict()['sequencial.4.bias'].data)

---

• 打印模型部分结构

for block in net._modules:
    print(block)

• 打印模型完整结构

for block in net._modules.values():
    print(block)

通过上面的例子其实能看出来，net._modules是一个字典，遍历字典得到的是字典的key，也就是网络的结构，访问每个key的value能够得到每个key对应的模块

初始化参数

• 内部初始化

def init_normal(m):
    if type(m) == nn.Linear:
        nn.init.normal_(m.weight, mean=0, std=0.01)
        nn.init.zeros_(m.bias)
net.apply(init_normal)

• xavier初始化

def xavier(m):
    if type(m) == nn.Linear:
        nn.init.xavier_uniform_(m.weight)
net.apply(xavier)       

可视化工具wandb

wandb是一个在线可视化工具，可在远程可视化训练过程
初始化项目，一般写在开头

wandb.init(project="pytorch-intro")# 项目名称

要记录的变量，一般写在训练和测试部分，以字典形式记录

  wandb.log({
        "Test Accuracy": acc_test,
        "Test Loss": test_loss
    })