习题3-2:在线性空间中,证明一个点
到平面
的距离为
.证明:设平面内有一点
,使得 ![x-](https://latex.csdn.net/eq?x-)
垂直于此平面
设平面内有一点 ,使得
垂直于此平面
又因为 垂直于此平面,所以有
平行于
即:(
为常数)
因此点 x 到平面距离为 |k|‖w‖
又 ,
所以
带入
两边同时取模:
证毕
习题3-5: 在Logistic回归中,是否可以用
去逼近正确的标签
,并用平方损失
最小化来优化参数
?
第一种情况,使用平方损失函数作为激活函数时:
由于函数的横纵坐标趋于较大或较小时,函数值趋于平缓,因此大多数情况下几乎为0,
很难去优化。
第二种情况,当以交叉熵损失作为损失函数时:
当误差大的时候,权重更新快
当误差小的时候,权重更新慢
习题3-6:在Softmax回归的风险函数(公式(3.39))中,如果加上正则化项会有什么影响?
公式3.39
加入正则化:
于是有:
更新参数时:
结论:加入正则化后,在更新参数时每次需要减去 2λW ,使得参数不会太大,因此不会造成溢出之类的错误发生。