习题3-2
在线性空间中,证明一个点𝒙到平面𝑓(𝒙; 𝒘) = 𝒘T𝒙 + 𝑏 = 0的距离为|𝑓(𝒙; 𝒘)|/‖𝒘‖。
解:
习题3-5
在Logistic回归中,是否可以用 ̂𝑦 = 𝜎(𝒘T𝒙)去逼近正确的标签𝑦,并用平方损失(𝑦 − ̂𝑦)2最小化来优化参数𝒘?
解:
第一种情况,使用平方损失函数作为激活函数时:
由于Sigmoid函数的横纵坐标趋于较大或较小时,函数值趋于平缓,因此大多数情况下几乎为0,w很难去优化。
第二种情况,当以交叉熵损失作为损失函数时:
在此种情况下,对损失函数求导后,误差越大,权重更新越快。
习题3-6
在 Softmax 回归的风险函数(公式 (3.39))中,如果加上正则化项会有什么影响?
解:
公式3.39:
加入正则化:
对w求导后:
所以:
Softmax回归中使用的𝐶个权重向量是冗余的,即对所有的权重向量都减去一个同样的向量 𝒗,不改变其输出结果。因此,Softmax回归往往需要使用正则化来约束其参数。
船长:准备好了吗,孩子们?
孩子:是的,船长。
船长:听不见。
孩子:是的!船长!
船长:哦哦哦哦哦~~谁住在水下的菠萝屋里?
孩子:海绵宝宝!
船长:黄颜色的他吸收又吐气。
孩子:海绵宝宝!
船长:如果你想要航海废话。
孩子:海绵宝宝!
船长:就掉在甲板上鱼晃。
孩子:海绵宝宝!
船长:预备!
合:海绵宝宝,海绵宝宝,海绵宝宝,海绵宝宝。
船长:哈哈哈。