深度学习原理部分数学公式

01.01 线性分类

k-近邻

超参数
$d_{1} (l_{1} , l_{2}) = \sum_{i} |l_{1}^{p} - l_{2}^{p}|$
$d_{2}(l_{1}, l_{2}) =\sqrt{ \sum_{i} |l_{1}^{p} - l_{2}^{p}|}$

01.02 得分函数

$f(x,W) = Wx + b$
$f(x_{i},W,b) = Wx_{i} + b$

W权重，向量
x数据(像素)，向量

01.03 损失函数

svm损失函数
$L_{i} = \sum \limits_{j \neq y_{i}} \max(0, s_{j} - s_{y_{i}} + 1)$

1 ⇒ $\delta$

线性函数：$f(x,W) = Wx$

损失函数01
$L=\dfrac{1}{N}\sum \limits_{i=0}^{N}\sum \limits_{j \neq i} \max(0,f(x_i;W)_j-f(x_i;W)_{y_i}+1)$

损失函数02(加上正则化惩罚项)
$L=\dfrac{1}{N}\sum \limits_{i=0}^{N}\sum \limits_{j \neq i} \max(0,f(x_i;W)_j-f(x_i;W)_{y_i}+1) + \lambda R(W)$

L2正则化
$R(W)=\sum_{k}\sum_{l}W_{2,l}^{k}$
$X=[1,1,1,1]$
$w_{1}=[1,0,0,0]$
$w_{2}=[0.25,0.25,0.25,0.25]$
$W_{1}^{T}x=W_{2}^{T}x=1$

随时函数终极版(数据loss+权重loss)
$L=\frac{1}{N}\sum_{i=0}^{N}\sum_{j \neq i}[\max(0,f(x_i;W)_j-f(x_i;W)_{y_i}+1)] + \lambda \sum_{k} \sum_{i}W_{k,i}^{2}$

01.04 softmax分类器

softmax输出一个概率值

sigmoid函数：$g(z) = \dfrac{1}{1 + e^{-z}}$

g(z) ==>{0,1}

损失函数(交叉熵函数)softmax
$f_{j}(z) = \dfrac{e^{z_{j}}}{\sum_{k}e^{z_{k}}}$
$L_i = -\log(\dfrac{e^{s_{y_{i}}}}{\sum_{j}e^{s_{j}}})$

01.05 最优化问题

跟随梯度：$\frac{ \text{d} f(x)}{\text{d} x} = \lim \limits_{h \to 0} \frac {f(x + h) - f(x)}{h}$
学习率、梯度下降

01.06 反向传播

$f = Wx$
$L_i = \sum \limits_{j \neq y_{i}} \max(0, s_{j} - s_{y_{i}} + 1)$

$f(x,y,z)=(x+y)z$
$q=x+y$ $\dfrac {\partial q}{\partial x}$

$f(w,x) = \dfrac {1}{1 + {e^{-(w_0x_0+w_1x_1+w_2)}}}$
$\sigma (x) = \dfrac {1} {1 + e^{-x}}$
$\dfrac {d \sigma (x)}{dx}= \dfrac {e^{-x}}{(1+e^{-x})^2} = (\dfrac {1 + e^{-x} - 1}{1 + e^{-x}})(\dfrac{1}{1 + e^{-x}}) = (1-\sigma (x) )\sigma (x)$

加法门单元：均等分配
max门单元：取最大值
乘法门单元：交换

02.01 神经网络

$f(x) = Wx$
$Li = \sum \limits_{j \neq y_i} \max(0, s_j - s_{y_i} + 1)$

layer {神经元}
innerProduct 全链接，内积
A层一个神经元i和 B层全部神经元的一组连接，需要一组权重参数$Wi$
A层有n个神经元，A==>B，就有n组权重参数$Wn$

激活函数(非线性单元、非线性表达)
线性函数：$f = Wx$
非线性函数：
$f = W_2 \max(0,W_1x)$ 单层神经网络
$f=W_3 \max(0, W_2 \max(0,W_1x))$ 双层神经网络

激活函数Sigmoid：$\sigma(x) = \dfrac {1} {1 + e^{-x}}$
Sigmoid会发生梯度消失，不是以0为中心。

激活函数TanH：存在梯度消失
$\tanh(x) = \dfrac{\sinh x}{\cosh x} = \dfrac {e^x - e^{-x}}{e^x+e{-x}}$

激活函数ReLU：$ReLU(x) = \max(0, x)$ (大值增强，<=0忽略)

数据预处理
权重初始化
drop-out： 60%

03.01卷积神经网络

输入大小为：W1 x H1 x D1
需要指定的超参数：filter个数（K），filter大小（F），步长（S），边界填充（P）
输出：
$W_2 = (W_1 - F + 2P)/S + 1$
$H_2 = (H_1 - F + 2P)/S + 1$
$D_2 = K$