神经网络的初步认识

神经元

根据生物神经元的结构，所提出的一个非常简单的神经元模型——MP神经元。一个基本的神经元包括：输入信号、线性组合和非线性激活函数：

其中，xj是输入信号，wij是权重，zi是线性组合的结果，b是偏置，激活函数是σ（），最后σi是输出信号。

多层感知机

单隐层感知机

 同样的，W表示权重向量，b表示偏置，f为激活函数。其中f1的结果是隐藏层的输出，隐层的输出同单层一样，就是对输入进行线性变换和非线性变换后得到的。

多层感知机（MLP）

也称为前反馈神经网络，也包括三个部分：输入层，隐藏层、输出层，其中隐藏层可以单层或者多层。同样，也是线性变换和非线性变换，后一层与前一层的每一个神经元都建立连接。

 其中，输入和输出的神经元的个数往往是确定的，而隐藏层中的神经元个数以及使用的层数都是超参数。其传播过程（非常简化）：

 l表示层数，W,b都是可训练的。MLP逐层传递消息，得到输出，整个网咯可以看做是一个复杂的复合函数，其中参数为W,b。