深度学习(DL)与卷积神经网络(CNN)学习笔记随笔-04-基于Python的LeNet之MLP

原文地址可以查看更多信息

　　本文主要参考于：Multilayer Perceptron
　　python源代码（github下载　　CSDN免费下载）

　　本文主要介绍含有单隐层的MLP的建模及实现。建议在阅读本博文之前，先看一下LR的实现。因为LR是简化版的MLP。LR不含有单隐层，则其输入层直接连接到输出层。从何处可以看出LR是输入层直接连接输出层？借用上一博文的公式：$P(Y=i|x, W, b)=softmax_{i}(Wx+b)$。其中，$x$是输入层，$softmax$是激活函数，$P$就是输出层了。我们将其化简并转换为一般神经网络表达式：$f(x)=g(Wx+b)$，其中$g$就是激活函数，$f(x)$就是输出层了。可见输入层经过激活函数得到的结果就是输出了。很简单吧。

　　那么MLP的模型公式和LR又有什么不同呢？下面来看一下MLP的模型建立。

一、模型

　　从MLP的结构图中可以看出输入层与隐藏层全连接，然后，隐藏层与输出层全连接。那么整体的函数映射就是 $f：R^{D}→R^{L}$，其中 $D$是输入向量 $x$的维度， $L$是输出向量 $f(x)$的维度。用矩阵表示整个三层之间的关系如下：

　　$f(x) = G(W^{(2)}( S(W^{(1)} x + b^{(1)})) + b^{(2)} )$

　　其中，$b^{(1)}, b^{(2)}$分别是三层之间（输入层与隐层、隐层与输出层之间）的偏置向量；$W^{(1)}, W^{(2)}$分别是三层之间的权值矩阵；而$S,G$是分别是三层之间的激活函数。

　　对于连接单隐层的的表达式$h(x) = \Phi(x) = S(W^{(1)} x + b^{(1)})$，其激活函数