复现DNDCMH时的问题总结-CSDN博客

本文链接：https://blog.csdn.net/m0_58845534/article/details/134091820

1. 修改预训练模型

在实验中需要更改最后一层，使用此方法便可得到。
注意，如果最后一层为Sequential层，则此方法会删去整个Sequential层的内容。

self.model = torchvision.models.vgg19_bn(weights=torchvision.models.VGG19_BN_Weights.IMAGENET1K_V1)
self.model = nn.Sequential(*list(self.model.features.children())[:-1])

2. 关于`torchsummary`库

通常用法如下所示

from torchsummary import summary

device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
model = Image_Net(params=params).to(device)
summary(model, input_size=(3, 224, 224))

3.关于`torch.cdist`函数

torch.cdist用于计算x1与x2之间，行方向上每个向量之间的距离。

torch.cdist(x1, x2, p=2.0, compute_mode='use_mm_for_euclid_dist_if_necessary')

如果x1的形状为B×P×M，并且x2的形状为B×R×M，则输出结果的形状为B×P×R。
官方文档地址：Pytorch
官方案例：

>>> a = torch.tensor([[0.9041,  0.0196], [-0.3108, -2.4423], [-0.4821,  1.059]])
>>> a
tensor([[ 0.9041,  0.0196],
        [-0.3108, -2.4423],
        [-0.4821,  1.0590]])
>>> b = torch.tensor([[-2.1763, -0.4713], [-0.6986,  1.3702]])
>>> b
tensor([[-2.1763, -0.4713],
        [-0.6986,  1.3702]])
>>> torch.cdist(a, b, p=2)
tensor([[3.1193, 2.0959],
        [2.7138, 3.8322],
        [2.2830, 0.3791]])
// 3.1193 = sqrt((0.9041-(-2.1763))^^2 + (0.0196-(-0.4713))^^2)

4.关于`torch.cuda.amp.autocast()`与`torch.cuda.amp.GradScaler`

在 autocast 的上下文中，PyTorch 会自动将部分计算转换为低精度（如半精度浮点数）进行计算，以减少内存占用和计算开销。同时，它会确保在需要高精度计算的地方仍然使用高精度（如单精度浮点数）进行计算，以保持计算的准确性。
GradScaler 是一个用于梯度缩放的工具，用于解决混合精度训练中梯度下溢或溢出的问题。在混合精度训练中，由于使用了低精度计算，梯度的值可能会变得非常小或非常大。GradScaler 可以自动缩放梯度的值，以保持在一个合适的范围内，从而避免梯度下溢或溢出的问题。
二者用法如下所示

from torch.cuda.amp import GradScaler

# 创建模型和优化器
model = MyModel()
optimizer = torch.optim.Adam(model.parameters(), lr=0.001)

# 创建 GradScaler 对象
scaler = GradScaler()

# 在训练循环中使用 GradScaler
for inputs, labels in dataloader:
    optimizer.zero_grad()

    with autocast():
        outputs = model(inputs)
        loss = loss_fn(outputs, labels)

    scaler.scale(loss).backward()
    scaler.step(optimizer)
    scaler.update()