激活函数（ReLU、Sigmoid、Softmax）

Linear

基于仿射变换的输出单元$\hat{y}={w\text{w}w}^{\top }x\text{x}x+b$，因其不具有非线性，这些单元一般称为线性单元.

线性输出层常用于产生高斯分布均值：
$$p(y|x\text{x}x)=\mathcal{N}(y;\hat{y},I)$$
最大化其对数似然，等价于最小化均方误差. 线性单元不会饱和，易于基于梯度优化.

Non-linarites

常见的非线性激活函数

'>

tanh仅重新缩放和移动sigmoid，使输出变为[-1,1]：
$$\tanh (z)=2\text{logistic}(2z)-1$$
logistic和tanh运算复杂，且饱和区梯度消失，人们提出hard tanh较好的解决了上述问题，从而衍生出ReLU.

ReLU具有以下性质：

• 非零范围内仅有一个斜率，具有良好的梯度回流，训练速度快；
• 每个单元要么处于激活状态、要么处于终止状态；

Sigmoid

目标：二分类类别$y$为0或1，预测$P(y|x\text{x}x)$的概率，概率值位于$[0,1]$之间.

令$z={w\text{w}w}^{\top }x\text{x}x+b$，sigmoid函数预测输出为1的概率，并使得无论输出多少均有较大的梯度，则类1概率
$$\hat{P}(y=1|x\text{x}x)=\sigma ({w\text{w}w}^{\top }x\text{x}x+b)=\sigma (z)=1/(1+\exp (-z))$$
以$z$值定义$y$的概率分布：
$$\begin{array}{r}P(y=1|x\text{x}x)=\sigma (z)\\ P(y=0|x\text{x}x)=1-\sigma (z)=\sigma (-z)\end{array}⟹P(y|x\text{x}x)=\sigma ((2y-1)z)$$
极小化负对数似然（抵消sigmoid函数中指数项），损失函数变为softplus函数为
$$J(\theta )=-\log P(y|x\text{x}x)=-\log \sigma ((2y-1)z)=\zeta ((1-2y)z)$$

Softmax

softmax函数为sigmoid函数的扩展，可表示具有n个可能值（n个类别的概率）的离散型随机变量的分布. “soft”术语表示softmax函数连续可微，是argmax函数的软化版本.

若线性层预测的输出为$z\text{z}z={w\text{w}w}^{\top }h\text{h}h+b\text{b}b$（过度参数化，实际有1个变量固定），softmax函数对其指数化和归一化获得概率分布
$$\text{softmax}(z\text{z}z)=\frac{\exp (z\text{z}z)}{{\sum }_j\exp ({z\text{z}z}_j)}$$
使用最大化对数似然训练softmax来输出目标概率时
$$\log P(y=i;z\text{z}z)=\log \text{softmax}(z\text{z}z{)}_i=z_i-\log \sum _j\exp (z_j)$$
极小化交叉熵中对数项将softmax中的指数项被消除，即式中第一项$z_i$使得概率不会饱和，第二项大致近似于${\max }_j{z}_j$，即任何明显小于${\max }_j{z}_j$的$z_k$和$\exp (z_k)$都可忽略，总是惩罚最不正确的预测.

当正确答案已是softmax的最大输入，则softmax输出接近0，此时该样本对整体训练代价贡献很小.

softmax的常用变体（variants）形式
$$\text{softmax}(z)=\text{softmax}(z-\underset{i}{\max }{z}_i)$$
利用该性质可降低数值误差，提高数值稳定性，即使$z\text{z}z$包含极正或极负的情况.

Softmax and Multi-Classification

$m$个样本$x\text{x}x\in {\mathbb{R}}^n$, 类别总数为$k$, 每个类别$j$对应各自的模型参数${\theta }_j=({w\text{w}w}_j,b)$, $\hat{x}\text{x^}\hat{x}=(x\text{x}x,1)$.

模型参数矩阵
$$\Theta =\left[\begin{array}{cccc}{w}_{11}& \cdots & w_{1n}& b_1\\ ⋮& \ddots & & ⋮\\ w_{k1}& \cdots & w_{kn}& b_k\end{array}\right]$$
softmax定义类别概率
$$p(y=j|\hat{x}\text{x^}\hat{x};\Theta )=\frac{\exp ({\theta \text{θ}\theta }_j^T\hat{x}\text{x^}\hat{x})}{{\sum }_{l=1}^k\exp ({\theta \text{θ}\theta }_l^T\hat{x}\text{x^}\hat{x})}$$
预测函数输出（所有类别概率和为1）
$$h_{\Theta }(\hat{x}\text{x^}\hat{x})=\left[\begin{array}{c}p(y=1|\hat{x}\text{x^}\hat{x},{\theta \text{θ}\theta }_1)\\ ⋮\\ p(y=k|\hat{x}\text{x^}\hat{x},{\theta \text{θ}\theta }_k)\end{array}\right]=\frac{1}{{\sum }_{l=1}^k\exp ({\theta \text{θ}\theta }_l^T\hat{x}\text{x^}\hat{x})}\left[\begin{array}{c}\exp ({\theta \text{θ}\theta }_1^T\hat{x}\text{x^}\hat{x})\\ ⋮\\ \exp ({\theta \text{θ}\theta }_k^T\hat{x}\text{x^}\hat{x})\end{array}\right]$$

交叉熵作为损失函数
J ( Θ ) = − ∑ i = 1 m ∑ j = 1 k 1 { y i = j } ln ⁡ exp ⁡ ( θ j T x ^ i ) ∑ l = 1 k exp ⁡ ( θ l T x ^ i ) J(\Theta) = -\sum_{i=1}^m\sum_{j=1}^k 1\{y_i=j\}\ln \frac{\exp(\pmb\theta_j^T\pmb{\hat x}_i)}{\sum_{l=1}^k\exp(\pmb\theta_l^T\pmb{\hat x}_i)} J(Θ)=−i=1∑m​j=1∑k​1{yi​=j}ln∑l=1k​exp(θθθlT​x^x^x^i​)exp(θθθjT​x^x^x^i​)​
对于单一样例$(\hat{x}\text{x^}\hat{x},y)$, 考虑以下两种情况求解$\partial J/\partial {\theta \text{θ}\theta }_j$：
$$\frac{\partial J(\Theta )}{\partial {\theta \text{θ}\theta }_j}=\{\begin{array}{ll}-\hat{x}\text{x^}\hat{x}(1-\frac{\exp ({\theta \text{θ}\theta }_j^T{\hat{x}\text{x^}\hat{x}}_i)}{{\sum }_{l=1}^k\exp ({\theta \text{θ}\theta }_l^T{\hat{x}\text{x^}\hat{x}}_i)}),& y=j\\ -\hat{x}\text{x^}\hat{x}(0-\frac{\exp ({\theta \text{θ}\theta }_j^T\hat{x}\text{x^}\hat{x})}{{\sum }_{l=1}^k\exp ({\theta \text{θ}\theta }_l^T\hat{x}\text{x^}\hat{x})}),& y\ne j\end{array}$$

梯度方向
∇ θ j J ( Θ ) = − ∑ i = 1 m x ^ i ( 1 { y i = j } − p ( y i = j ∣ x ^ i ; Θ ) ) \nabla_{\pmb\theta_j} J(\Theta) = -\sum_{i=1}^m \pmb{\hat x}_i(1\{y_i =j\} - p(y_i=j|\pmb{\hat x_i};\Theta)) ∇θθθj​​J(Θ)=−i=1∑m​x^x^x^i​(1{yi​=j}−p(yi​=j∣x^i​​x^i​​​x^i​;Θ))