神经网络：多层感知机-MLP

参考别人的，别看了，我自己做笔记玩的

最基本的神经网络：MLP

相应的变种的神经网络：误差反向传播（Back Propagation，BP）神经网路、概率神经网络、卷积神经网络（Convolutional Neural Network ，CNN-适用于图像识别）、时间递归神经网络（Long short-term Memory Network ，LSTM-适用于语音识别）等。但最简单且原汁原味的神经网络则是多层感知器（Multi-Layer Perception ，MLP），只有理解经典的原版，才能更好的去理解功能更加强大的现代变种。

一、MLP神经网络的结构和原理（主要是看结构）

最典型的MLP包括包括三层：输入层、隐层和输出层，MLP神经网络不同层之间是全连接的（全连接的意思就是：上一层的任何一个神经元与下一层的所有神经元都有连接）。

由此可知，神经网络主要有三个基本要素：权重、偏置和激活函数

权重：神经元之间的连接强度由权重表示，权重的大小表示可能性的大小

偏置：偏置的设置是为了正确分类样本，是模型中一个重要的参数，即保证通过输入算出的输出值不能随便激活。

激活函数：起非线性映射的作用，其可将神经元的输出幅度限制在一定范围内，一般限制在（-1~1）或（0~1）之间。最常用的激活函数是Sigmoid函数，其可将（-∞，+∞）的数映射到（0~1）的范围内。

激活函数还有tanh和ReLU等函数，tanh是Sigmoid函数的变形，tanh的均值是0，在实际应用中有比Sigmoid更好的效果；ReLU是近来比较流行的激活函数，当输入信号小于0时，输出为0；当输入信号大于0时，输出等于输入；具体采用哪种激活函数需视具体情况定。

用最经典的手写体数字识别来说明整个mlp如果进行运作

MLP的最经典例子就是数字识别，即我们随便给出一张上面写有数字的图片并作为输入，由它最终给出图片上的数字到底是几。

对于一张写有数字的图片，我们可将其分解为由28*28=784个像素点构成，每个像素点的值在（0~1）之间，其表示灰度值，值越大该像素点则越亮，越低则越暗，以此表达图片上的数字并将这786个像素点作为神经网络的输入。

 而输出则由十个神经元构成，分别表示（0~9）这十个数字，这十个神经元的值也是在（0~1）之间，也表示灰度值，但神经元值越大表示从输入经判断后是该数字的可能性越大。

 隐层的层数和神经元的选择需根据具体情况选择，此例选择两层隐层，每层16个神经元。那么根据上面的叙述，根据权重、偏置的个数此神经网络将会有13002个参数需要去调节，而如何调整这些参数，从而使神经网络有较好的学习效果则正是下篇更新的神经网络训练和学习的内容。

 

 

参考链接：神经网络1：多层感知器-MLP - 知乎 (zhihu.com)