李宏毅深度学习Task04

1.深度学习简介

三个步骤：神经网络设计；模型好坏评估；最优函数选择

a. 神经网络设计

神经网络：完全连接前馈神经网络

完全？因为相邻两层之间的每个单元彼此之间都互相关联

前馈？信号流动是单向的，都是从输入到输出

深度？整个网络中隐藏层的层数是不定的，可以很多层，当然计算量也会增大，精度会提高

隐藏层？中间层数和结构可以自行设计

b. 模型评估

不同于前面机器学习模型，使用交叉熵定义Loss function

c. 选择最优函数

使用梯度下降选择最优函数；后面介绍使用反向传播来进行计算

2. 反向传播

反向传播是一种针对梯度下降的算法，可以更有效率的计算梯度下降，尤其是在深度学习中，具有百万参数的情况下

总体损失函数：基于整个训练集

一个神经元的偏微分是包括forward pass和backward pass

forward pass容易计算，就是连接层的输入，可以直接计算得到

backward pass是利用反向链式法则计算，通过从后到前的方式计算偏微分

然后将两者进行乘积运算，可以得到loss对参数的偏微分，然后利用梯度下降进行更新，获取最优函数即可。