多层感知机MLP

多层感知机也称为人工神经网络，由输入层、隐藏层、输出层组成。

PS:层与层之间全连接，即当前层的每一个神经元与下一层的每个神经元均有连接，将前一层提取的特征综合起来，实现特征表示与分类。

1.隐藏层：输入层用向量X表示，则隐藏层的输出就是 f (W1X+b1)，输出利用激活函数sigmoid或者tanh，这样给神经网络引入非线性结构，可以用于非线性模型。

2.输出层：隐藏层到输出层可以看成是逻辑回归，也即softmax回归，所以输出层的输出就是softmax(W2a1+b2)，a1表示隐藏层的输出f(W1X+b1)。

其中，w1,w2,b1,b2作为参数，在具体问题中的求解转换为了最优化问题。