上海复旦大学吴立德教授深度学习课程三

全连接ANN

数据 D

$(x(i),y(i)),1 \leqslant i \leqslant N$

模型 M

$a^l = y(x|\omega,b)$
$\hat{y}=f(a^l |\theta)$

准则 C

$J(a^l,y|\theta) = J(x,y|\omega,b,\theta) = min$

通过准则很容易确定需要优化的目标函数。

梯度下降

神经网络是前向求函数值，后向求梯度值，每一次迭代都会正向和反向各运行一次。
梯度下降就是求目标函数的偏导数，为了方便，省去正则项。

$\omega \leftarrow \omega + \alpha \frac{\partial(J)}{\partial(\omega)}$
$b \leftarrow b + \alpha \frac{\partial(J)}{\partial(b)}$

有了以上的偏导数就可以很方便的得到BP。

稀疏表示

对于任一$x\in R^p,p为维度$，可以用一组基 $A$ 表示为 $x=As$，$s$ 为 $x$ 在基 $A$ 上的映射，也就是线性表示，$s$是$px \times 1$维。

所谓稀疏意思是$s$中的零个数尽量多。

稀疏表示的优化目标是：$min||x-As||^2+\lambda||s||_0$，
但是在优化中$l_0$是不连续的，难以求解；
但是在一定条件下可以转为$l_1$，对于$l_1$问题容易求解，但是在零点不可导；
若转为$l_2$，连续可导，可以通过优化方法得出解。

稀疏编码