水很深的深度学习

前馈神经网络

MP感知机

        MP模型中，神经元接受n个神经元输入信号，这些输入信号权重加权求和，与阈值比较，经过激活函数处理，得到神经元输出，这里还有点不理解

 

BP算法

根据自己的理解 BP算法就是利用一个反向传播的思想，里面有一个链式法则，

根据计算图理解一下

反向传播就是一直前面的参数求导

不知道自己理解的正确不  

激活函数

SIGMOID RELU重点进行了解，以前也对sigmoid激活函数有过解释，这章新了解sigmoid函数的缺点，就是出现梯度消失问题，RELU激活函数如下理解

 参考https://github.com/datawhalechina/unusual-deep-learning/blob/main/docs/4.%E5%89%8D%E9%A6%88%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C.md