前馈神经网络

前馈神经网络：

    前向传播（FP）：

        思想：假设只有三层（输入层，隐藏层，输出层）
            1.输入层的输出经过激活函数后作为隐藏层的输入，
            2.隐藏层的输出经过激活函数后作为输出层的输入
        式子：
            L1=f(W1*X+b1) 输入层
            y_hat=f(W2*L1+b2) 输入层
        目标函数 min f=sum((y_true-y_hat)**2)

        梯度下降法求解最优参数 W1*、W2*、b1*、b2*

    误差反向传播算法（BP）：链式求导法则

    多层感知机（MLP）：
        可以拟合非线性函数。

激活函数：
    1.sigmoid 
    2.tanh  (exp**x-exp**-x )/ (exp**x+exp**-x)
    3.relu  max(x,0) 当x取负数时，值为0
梯度消失：
    
    求得的梯度接近0，损失函数的值不在继续减少

梯度爆炸：
    求得的梯度很大，损失函数的值波动很大