MLP的三层模型图:_images/mlp.png 输出值公式:f(x) = G( b^{(2)} + W^{(2)}( s( b^{(1)} + W^{(1)} x))), 参数及激活函数: b^{(1)} 输入层到隐层的偏置量,b^{(2)} 隐层到输出层的偏置量 W^{(1)} 输入层到隐层的权重, W^{(2)} 隐层到输出层的权重 G 隐层到输出层的激活函数 s 输入层到隐层的激活函数 激活函数: tanh(a)=(e^a-e^{-a})/(e^a+e^{-a}) sigmoid(a)=1/(1+e^{-a}) 视情况而定。 参数的初始赋值遵从非对称原则,且在某个区间内赋值,有利于传播。
残差:利于计算机实现