神经网络
源于非线性假设,发展史如下
神经网络组成单元
前向传播
神经网络反向传播
cost function
反向传播公式及推导过程
δ(l) 的意义就体现在:它是用来保存上一次计算的部分结果。在计算 δ(l−1) 时,可以使用这个部分结果继续向下逐层求偏导。这样在神经网络特别复杂、有大量计算时就可以节省大量重复的运算,从而有效地提高神经网络的学习速度。
梯度检验
随机初始化
为了让网络可以学习到不同的函数,学习的更加复杂,打破对称性。
总结
参考:
Backpropagation 算法的推导与直观图解 https://www.cnblogs.com/andywenzhi/p/7295262.html
BP神经网络(反向传播)详细推导 https://liuxindotblog.files.wordpress.com/2018/10/bpe7a59ee7bb8fe7bd91e7bb9ce58f8de59091e4bca0e692ade8afa6e7bb86e68ea8e5afbc-_-cowry.pdf