机器学习复习(2)——神经网络

神经网络概述（BP推导）&CNN

神经网络

神经元模型

基本结构：

BP网络

三层神经网络的推导

• 标准的推导

  • 符号说明：

    • $W^l$表示$l$到$l+1$的权重矩阵，维数为：$l+1$的节点数$\times l$的节点数
    • $f$表示激活函数
    • $z^l$表示的是$l$层的输入$a^l$表示$l$的输出（即经过了激活函数）
    • 输入为一个样本（$b$个属性）

  • 前向计算（以三层网络为例）：

    • $z^{(2)}=W^{(1)}x+b^{(1)}$

    • $a^{(2)}=f(z^{(2)})$

    • z ( 3 ) = W ( 2 ) x + b ( 2 ) z^{(3)}=W^{(2)}x+b^{(2)} z(3)=W(2)x+<