【Lee-ML】 04 DL and BP

【01】深度学习简介

01 深度学习的历史

暴涨的应用案例

其实也是经过几度起伏

02 深度学习流程

完全可以复制机器学习的步骤，还是一样的流程

03 神经网络

所谓神经网络，就是一大堆神经元的连接，一个神经元其实可以看成线性回归与逻辑回归的结合

神经元是全连接的神经网络，后面还有CNN、RNN等

如何完成一次前向传播

输入层、隐藏层、输出层

第二步，如何确定goodness

所有损失

第三步，还是梯度下降~

04 应用举例

手写数字识别

05 FAQ

多深才能叫深度学习？

没有定论，反正现在用神经网络的都说自己是深度学习

如何设计神经网络？

越深越好吗？

2022/3 更新

关于BP的推导

关键是符号表示不要乱，先把前向传播过程用公式写出来，求梯度的时候，挨个链式展开即可。
写着写着会发现一个误差中间量的规律，感受到BP其实就是把网络反过来用，不断地去更新每一层上的误差，然后用这个误差去求上一层到这一层的权重的梯度。
再简洁点就是用矩阵去表达，注意维度就能给出正确的式子。这个和矩阵论推导殊途同归了。花书里面还有更高级的计算图展开，不愧是花书。