MLP:多层感知器Multi-layer Perceptron

MLP是多层感知器（Multilayer Perceptron）的缩写，是一种基本的人工神经网络（Artificial Neural Network，ANN）模型，是一种前馈神经网络。它是由多个神经元组成的网络，通常包含一个或多个隐藏层（hidden layers）、一个输入层（input layer）和一个输出层（output layer）。

MLP通常用于解决分类和回归等问题。

MLP是全连接网络。（fully connected layer）

基本单元是神经元，每个神经元接收来自前一层的输入并产生一个输出。

MLP的层（layer）

①按顺序分为：输入层（input layer）->隐藏层（hidden layer）->输出层（output layer）
②每个层可以看做是y’=w*x+b

MLP的权重w和偏差b

每个连接都有一个相关联的权重，一般用“反向传播”算法（梯度下降优化权重和偏差，达到实际值与预测值之间的最小损失loss）进行训练。

MLP的激活函数

①每层一般会经过一个激活函数再输出
②激活函数引入了非线性性质，使得神经网络能够学习非线性关系。常用的激活函数包括Sigmoid、ReLU、Tanh等。

softmax和sigmoid: softmax不过（0，0.5）