NNDL 作业2： 第三章课后题

习题3-2：在线性空间中，证明一个点x到平面的距离为

证明：

对于任一点,设其在超平面上的投影点为x1,则,且向量与垂直于该平面，即与超平面的法向量平行。同时

 就是我们要求的值。

易得与平行，即=（k为常数），因此点到平面的距离是，又因为

所以

带入

两边同时取模：

证毕

习题3-5：在Logistic回归中，是否可以用去逼近正确的标签y ,并用平方损最小化来优化参数w？

在Logistic回归中可以用sigmoid函数去逼近正确的标签y ,但用平方损失最小化来优化参数w不可行。

其中：

因此，更新公式为：

因为sigmoid函数值域为[0,1],所以的函数值很小，更新速率特别慢，因此不太合适。

习题3-6：在Softmax回归的风险函数（公式（3.39））中，如果加上正则化项会有什么影响？

当我们加入正则化后：

则

更新参数时：

加入正则化后，在更新参数时每次需要减去，使得参数不会过大，不会造成溢出之类的错误，同时也防止过拟合。