Parameter
ParameterList列表格式 ParameterDict字典格式
Linear conv2d ReLU MaxPool2d MSELoss
CrossEntropyLoss 交叉熵损失一般用于分类问题
具体讲解以二分类为例: 如果要预测的真实值为1,即y=1,带入Loss 则后边一项即(l-y)…为零
而前一项变成
l
o
g
(
y
^
)
log(\hat y)
log(y^)则根据log曲线,只有当
y
^
\hat y
y^越接近1的时候 Loss才会最小为0,这时的预测值和真实值正好相等所以才使用交叉熵
x = torch.randn(10, 5)
y= torch.randint(0, 5, (10,))
weights = torch.tensor([1., 2., 3., 4., 5.])
criterion_good = nn.CrossEntropyLoss(weight=weights)
# criterion_good = nn.CrossEntropyLoss(weight=weights, reduction='mean') # 默认形式
loss_good = criterion_good(x, y)
print('loss_good\n', loss_good)
print('loss_good\n', loss_good.dtype)
# reduction='none'其实也就是说对返回的结果不做处理
# reduction='mean' 也就是将返回的结果直接处理成了均值的形式
criterion = nn.CrossEntropyLoss(weight=weights, reduction='none')
loss = criterion(x, y)
loss = loss.sum() / weights[y].sum()
print('loss\n', loss)
print('loss\n', loss.dtype)
print(loss == loss_good) # 注意同时多执行几次是会出现FALSE的,但是之前的输出是一样的,具体原因待查
MSE-LOSS 均方损失 一般用于回归问题
functional
F.pad填充图像的用法
c, h, w = img.shape
dim_diff = np.abs(h - w)
# (upper / left) padding and (lower / right) padding
pad1, pad2 = dim_diff // 2, dim_diff - dim_diff // 2
# Determine padding
pad = (0, 0, pad1, pad2) if h <= w else (pad1, pad2, 0, 0)
# Add padding
# img是一个tensor对象,pad要填充的格式,constant就是填充的值是个常量,值为value
# 本例填充出来的是一个长和宽相等的一个图像
img = F.pad(img, pad, "constant", value=pad_value)
运行结果:
Sequential
ModuleList
ModuleDict
Module