nndl-复旦-神经网络与深度学习笔记第三章习题

第三章习题

参考资料：

1. https://blog.csdn.net/qq_38252142/article/details/109007372
2. https://github.com/nndl/solutions/issues
   
   答：决策平面为$w^{T}x+b=0$，任意选择决策平面上两点：$x_1、x_2$，满足：
   $w^T{x}_1+b=0$
   $w^T{x}_2+b=0$
   则两式相减得：$w^T(x_1-x_2)=0$其中，$x_1-x_2$即为决策平面上任意的向量，即 权重向量 $w$ 与决策平面正交。
   
   答：假设点x在平面$f(x;w)$的投影点为$x_1$，则点x到平面上的距离可以表示为：
   $distance=||x-x_1||$
   因为$x_1$为平面上的点，所以满足平面方程，即：$w^T{x}_1+b=0$，解得$x_1$为：
   $x_1=-w^{-T}b$，代入距离公式：
   $distance=||x+w^{-T}b||=\frac{||w||\ast ||x+w^{-T}b||}{||w||}=\frac{||wx+b||}{||w||}=\frac{|f(x;w)|}{||w||}$
   
   答：由凸函数的性质：$f(\rho x_1+(1-\rho )x_2)\le \rho x_1+(1-\rho )x_2$即得。
   由题意可知，$w_c^T{x}_1>w_{\bar{c}}^T{x}_1$，$w_c^T{x}_2>w_{\bar{c}}^T{x}_2$。
   则：$\rho (w_c^T{x}_1-w_{\bar{c}}^T{x}_1)>0$，$(1-\rho )(w_c^T{x}_2-w_{\bar{c}}^T{x}_2)>0$
   两式相加：$\rho (w_c^T{x}_1-w_{\bar{c}}^T{x}_1)+(1-\rho )(w_c^T{x}_2-w_{\bar{c}}^T{x}_2)>0$
   整理得：
   $w_c^T(\rho x_1+(1-\rho )x_2)>w_{\bar{c}}^T(\rho x_1+(1-\rho )x_2)$
   故得证。
   
   
   答：不可以。$\hat{y}=\sigma (w^{T}x)=\frac{1}{1+exp(-w^{T}X)}$是连续函数，不适用分类问题。平方损失同样不适合用来优化参数$w$，因为$\hat{y}$到$y$的距离并没有实际意义，无法表示预测的准确性。

答：正则化就是对最小化经验误差函数上加约束。加入正则化可以限制权重向量的大小，防止过拟合。

答：
$x^{T}z=x_1{z}_1+x_2{z}_2$
$(1+x^{T}z{)}^2=1+2x^{T}z+(x^{T}z{)}^2$
$\varphi (x{)}^T\varphi (z)=1+2x_1{z}_1+2x_2{z}_2+2x_1{x}_2{z}_1{z}_2+x_1^2{z}_1^2+x_2^2{z}_2^2=1+2x^{T}z+(x^{T}z{)}^2$
得证。