深度学习课后作业

白小码i

于 2022-09-23 13:58:43 发布

阅读量636

点赞数 3

文章标签：机器学习人工智能

本文链接：https://blog.csdn.net/qq_52551768/article/details/126999936

版权

3-2 在线性空间中，证明一个点x到 $f(x;w)=w_{T}x+b=0$ 的距离为 $|f(x;w)|/||w||$ .

解答：取该平面中任意一点 $x_{0}$ 做向量 $\overrightarrow{x_{0}x}$ ,其中点x到该平面的距离为 $\overrightarrow{x_{0}x}$ 在平面法向量 $\overrightarrow{n}$ 上的投影(设 $n=\overrightarrow{n}$ ), $d=\left \| \overrightarrow{x_{0}x} \right \|*cos(\Theta )$ , $\Theta$ 为 $\overrightarrow{x_{0}x}$ 与 $\overrightarrow{n}$ 的夹角。

将图形大概可以作出，取一平面为例，如图

$d=||\overrightarrow{x_{0}x}||*cos(\Theta )$ ,所以

$cos\Theta =\frac{d}{||\overrightarrow{x_{0}x}||}$ ,即

$cos(\Theta )=\frac{|\overrightarrow{x_{0}x}*w|}{||\overrightarrow{x_{0}x}*w||*||w||}=\frac{|\overrightarrow{x}*w-\overrightarrow{x_{0}}*w|}{||\overrightarrow{x_{0}x}||*||w||}=\frac{|f(x;w)-f(x0;w)|}{||\overrightarrow{x_{0}x}||*||w||}$ ,因为点 $x_{0}$ 在平面 $f(x;w)$ 内，所以有 $cos(\Theta )=\frac{|f(x;w)|}{||\overrightarrow{x_{0}x}||*||w||}$ ,带入到d中得： $d=\frac{|f(x;w)|}{||w||}$ .

3-5 在Logistic回归中，是否可以用 $\hat y=\sigma (w_{T}x)$ 去逼近正确的标签y，并用平方损失 $(y-\hat y)^2$ 最小化来优化参数w？

解答：从理论上来说，平方损失函数也可以用于分类问题，但并不适合。首先，最小化平方损失函数本质上等同于在误差服从高斯分布的假设下的极大似然估计，然而大部分分类问题的误差并不服从高斯分布。而且在实际应用中，交叉嫡在和Softmax激活函数的配合下,能够使得损失值越大导数越大，损失值越小导数越小，这就能加快学习速率。然而若使用平方损失函数，则损失越大导数反而越小，学习速率很慢。

所以说，当sigmod为激活函数时，不能使用平方损失函数来优化参数，对于二分类来说，当 $y f(x;w)$ >0时，分类器预测正确，并且 $y f(x;w)$ 越大，模型的预测越准确；当 $y f(x;w)$ <0时，分类器预测越不准确，因此，一个好的损失函数应该随着 $y f(x;w)$ 的增大而减小，所以应用交叉熵损失函数。