深度学习(一) 损失函数、输出单元、激活函数、反向传播

深度学习(一) 损失函数、输出单元、激活函数、反向传播

深度前馈网络

1. 概述

   • 线性模型无论是凸优化还是闭式解都可以高效可靠地拟合，而它的缺陷是拟合能力局限于线性函数里，无法理解特征之间的相互作用。
   • 深度学习通过学习特征来优化模型，提高模型的性能。
   • 与线性模型的凸优化从任意初始解都能收敛到最优点不同的是，深度学习的代价函数往往是非凸的，使用梯度来进行模型的优化。这种非凸迭代优化对模型的初值敏感，使用不同的初始值会收敛到不同的点。

2. 损失函数
   神经网络使用最大似然来进行训练：
   

   $$J(\theta)=-E_{x,y\sim \hat p_{data}}logp_{model}(y|x)\tag1$$
   损失函数必须足够的大、足够的足有代表性，饱和函数的梯度非常的小，不适合作为损失函数
   常用损失函数：交叉熵、l2

3. 输出单元
   
   • 线性单元
     $$\hat y =W^Th+b\tag2$$
     不易饱和，适合各种优化算法
   • sigmoid 二分类
     $$\hat y = \sigma (w^Th + b)\tag3$$
   • softmax 多分类
     $$z=W^Th+b\tag4$$
     $$softmax(z)_i=\frac{e^{z_i}}{\sum_ke^{z_k}}\tag5$$

4. 隐藏单元

   • sigmoid/tanh
     $$g(z)=\sigma(z)\tag6$$
     $$g(z)=tanh(z)=2\sigma(2z)-1\tag7$$
     $$\sigma(x)=\frac{e^x}{1+e^x}=\frac{1}{1+e^{-x}}\tag8$$
     $$\sigma(x)\prime=\sigma(x)(1-\sigma(x))\tag9$$
     $$1-\sigma(x)=\sigma(-x)\tag{10}$$
     缺点：
     a. sigmoid系函数两端扁平，十分易于饱和，simoid求导之梯度值在[0,1/4]，易于产生梯度消失。
     b. sigmoid函数的输出不是0均值的，这会导致下一层二等输入信号为非0均值，如果输入神经元是数据是正的，那么计算的梯度全为正数或负数，导致梯度下降锯齿形(之字形)晃动，导致收敛速度缓慢。若梯度是批数据累加的则权值的更新准确一些。
     c. tanh函数的输出是0均值的，在实际应用中比sigmoid好
     d. 非0均值会导致下一层的bias shift。bias shift是指输出的均值比输入的均值大的多。
   • ReLU
     $$g(z)=max(0,z)\tag{11}$$
     ReLU单侧抑制，左侧不能学习（Dying ReLU再也没有机会学习），它的优化与线性函数类似。
     什么叫Dying ReLU？
     假设ReL的输入为$z_n=\sum_{i=0}^kw_ia_i^n$，经过ReLU后，$ReLU=max(0,z_n)$，假设一个简单的误差函数$error=ReLU-y$，反向传播传回的梯度：
     $$\frac{\partial error}{\partial z_n}=\zeta_n= \begin{cases} 1, & z_n\geq 0\\ 0, & z_n< 0\\ \end{cases}\tag{12}$$
     权值更新:
     
     ∂error∂wj=∂error∂zn∗∂