y_hat混淆点

2.

课程中的损失函数定义为：

def squared_loss(y_hat, y):
    return (y_hat - y.view(y_hat.size())) ** 2 / 2

将返回结果替换为下面的哪一个会导致会导致模型无法训练：(阅读材料：

(y_hat.view(-1) - y) ** 2 / 2

(y_hat - y.view(-1)) ** 2 / 2

(y_hat - y.view(y_hat.shape)) ** 2 / 2

(y_hat - y.view(-1, 1)) ** 2 / 2

答案解释

y_hat的形状是[n, 1]，而y的形状是[n]，两者相减得到的结果的形状是[n, n]，相当于用y_hat的每一个元素分别减去y的所有元素，所以无法得到正确的损失值。对于第一个选项，y_hat.view(-1)的形状是[n]，与y一致，可以相减；对于第二个选项，y.view(-1)的形状仍是[n]，所以没有解决问题；对于第三个选项和第四个选项，y.view(y_hat.shape)和y.view(-1, 1)的形状都是[n, 1]，与y_hat一致，可以相减。以下是一段示例代码：

x = torch.arange(3)
y = torch.arange(3).view(3, 1)
print(x)
print(y)
print(x + y)

假如你正在实现一个全连接层，全连接层的输入形状是7×8，输出形状是 7×1，其中7是批量大小，则权重参数ww和偏置参数bb的形状分别是____和____

1×8， 1×1

1×8， 7×1

8×1， 1×1

8×1， 7×1

答案解释：

设输入批量为X in mathbb{R}^{7 times 8}X∈R7×8，对应的输出为Y in \mathbb{R}^{7 times 1}Y∈R7×1，令权重参数为w in mathbb{R}^{8 times 1}w∈R8×1，则Xw in mathbb{R}^{7 times 1}Xw∈R7×1，然后我们给XwXw中的每个元素加上的偏置是一样的，所以偏置参数b in mathbb{R} ^{1 times 1}b∈R1×1，基于加法的广播机制，可以完成得到输出Y = Xw + bY=Xw+b。参数的形状与批量大小没有关系，也正是因为如此，对同一个模型，我们可以选择不同的批量大小。

作者：cocowy

原文地址：https://segmentfault.com/a/1190000021743688

喜欢 0