即使现实中不会有任何房子的面积是0或房龄正好是0年,我们仍然需要偏置项。 如果没有偏置项,我们模型的表达能力将受到限制。
均方误差损失函数(简称均方损失)可以用于线性回归的一个原因是: 我们假设了观测中包含噪声,其中噪声服从正态分布
最小化负对数似然公式中,只需要假设σ是某个固定常数就可以忽略第一项, 因为第一项不依赖于w和b。现在第二项除了常数σ^-2外,其余部分和前面介绍的均方误差是一样的。 幸运的是,上面式子的解并不依赖于σ。因此,在高斯噪声的假设下,最小化均方误差等价于对线性模型的极大似然估计
resize:可选的整数,用于调整图像的大小。
函数首先创建一个名为 trans 的变量,其中包含一个 transforms.ToTensor() 变换。如果 resize 参数不为 None,则函数将 transforms.Resize(resize) 变换插入到 trans 变换的开始位置,以调整图像大小。
mnist_train = torchvision.datasets.FashionMNIST(
root="../data", train=True, transform=trans, download=True)
mnist_test = torchvision.datasets.FashionMNIST(
root="../data", train=False, transform=trans, download=True)第一次train参数为真,第二次为假。
使用深度学习框架的高级API,我们可以更简洁地实现softmax回归。
重新审视softmax的实现,直接运算容易导致上溢,我们无法得到一个明确定义的交叉熵值,但是如果只是减去输入层当中的最大值,又可能导致出现极大负数,最终得到nan。最终是求对数与指数的互相抵消使运算更加简单。
此次自学还侧面让我更多理解了init方法的应用,提高了熟练度。