torch.nn库

Parameter

ParameterList列表格式 ParameterDict字典格式

Linear conv2d ReLU MaxPool2d MSELoss

CrossEntropyLoss 交叉熵损失一般用于分类问题

具体讲解以二分类为例： 如果要预测的真实值为1，即y=1，带入Loss 则后边一项即(l-y)…为零
而前一项变成$log(\hat{y})$则根据log曲线，只有当$\hat{y}$越接近1的时候 Loss才会最小为0，这时的预测值和真实值正好相等所以才使用交叉熵

x = torch.randn(10, 5)
y= torch.randint(0, 5, (10,))
weights = torch.tensor([1., 2., 3., 4., 5.])

criterion_good = nn.CrossEntropyLoss(weight=weights)
# criterion_good = nn.CrossEntropyLoss(weight=weights, reduction='mean') # 默认形式
loss_good = criterion_good(x, y)
print('loss_good\n', loss_good)
print('loss_good\n', loss_good.dtype)
# reduction='none'其实也就是说对返回的结果不做处理
# reduction='mean' 也就是将返回的结果直接处理成了均值的形式
criterion = nn.CrossEntropyLoss(weight=weights, reduction='none')
loss = criterion(x, y)
loss = loss.sum() / weights[y].sum()
print('loss\n', loss)
print('loss\n', loss.dtype)
print(loss == loss_good)  # 注意同时多执行几次是会出现FALSE的，但是之前的输出是一样的，具体原因待查

MSE-LOSS 均方损失 一般用于回归问题

functional

F.pad填充图像的用法

    c, h, w = img.shape
    dim_diff = np.abs(h - w)
    # (upper / left) padding and (lower / right) padding
    pad1, pad2 = dim_diff // 2, dim_diff - dim_diff // 2
    # Determine padding
    pad = (0, 0, pad1, pad2) if h <= w else (pad1, pad2, 0, 0)
    # Add padding
    # img是一个tensor对象，pad要填充的格式，constant就是填充的值是个常量，值为value
    # 本例填充出来的是一个长和宽相等的一个图像
    img = F.pad(img, pad, "constant", value=pad_value)

运行结果：

Sequential

ModuleList

ModuleDict

Module

init中包括各种初始化函数

• xavier_uniform_使用均匀分布初始化w