李宏毅机器学习笔记p13-p14：深度学习简介+反向传播

---

前言

主要学习了深度学习中最重要的反向传播的知识点。

---

一、深度学习简介

深度学习三步骤==1.神经网络 2.模型评估 3.选择最优函数

step1:神经网络

神经网络由神经元组成。（红色方框中就算一个神经元）
神经元（逻辑回归函数）有权重和偏差（即参数）
已知神经元以及其连接方式，就可以将其神经网络看作一个函数function
神经元（未知其参数）连接方式构成了不同的function set

全连接前馈神经网络

神经网络：1输入层 ；N隐藏层；1输出层
全连接：各层之间两两都连接。
前馈：信号都从前向后传。

矩阵运算

因为深度学习隐藏层非常多，所以如果直接算的话效率是极低的，所以我们后来用GPU做矩阵运算
$$a^1=\sigma (w^{1}x+b^1)$$
$$a^2=\sigma (w^2{a}^1+b^2)$$
以此类推，不断嵌套。

step2：模型评估

用总的损失函数表达：一般用交叉熵（调整参数使其越小越好）

step3：选择最优函数

用前文所讲的梯度下降。以及下文的反向传播。

反向传播

反向传播：有效率的计算梯度向量。重点是：链式法则

链式法则

（1）当$\begin{array}{c}ly=g(x)\\ z=h(y)\end{array}$时候

（2）当$x=g(s)$ ,$y=h(s)$,$z=k(x,y)$时

反向传播

$$\frac{\partial C}{\partial w}=?+\frac{\partial z}{\partial w}\frac{\partial C}{\partial z}$$

1.计算$\frac{\partial z}{\partial w}$ Forward Pass

由于$z=x_1{w}_1+x_2{w}_2+b$
所以$\{\begin{array}{c}\frac{\partial z}{\partial w_1}=x_1\\ \frac{\partial z}{\partial w_2}=x_2\end{array}$
已知 input 然后就可以得到output

2.计算$\frac{\partial C}{\partial z}$ Backward Pass

已知$z=x_1{w}_1+x_2{w}_2+b$，$a=\sigma (z)$,然后继续迭代得到f 然后作差做到C

$$\frac{\partial C}{\partial z}=\frac{\partial a}{\partial z}\frac{\partial C}{\partial a}$$
1.$\frac{\partial a}{\partial z}=\sigma (z)$的导数
2.

所以我们要做的
从最后一个输出值向前面走，（根据上文的式子），反向传播来计算$\frac{\partial C}{\partial z}$。

总结

最主要的是学习到了反向传播，通过公式的推导，让我清楚计算梯度，不单单是只需要反向传播，实际上是反向传播和前向传播的结合。反向传播不需要理解为从前往后一项一项展开，而是从后往前推进，计算量和前向传播一样。