2018-7-20
感知机,PLA
多层感知机是由感知机推广而来,感知机的神经网络表示如下:
表达式:
从上述内容更可以看出,PLA是一个线性的二分类器,但不能对非线性的数据并不能进行有效的分类。因此便有了对网络层次的加深,理论上,多层网络可以模拟任何复杂的函数。
多层感知机,MLP
多层感知机(Multi-Layer perception)的一个重要特点就是多层,我们将第一层称之为输入层,最后一层称之有输出层,中间的层称之为隐层。MLP并没有规定隐层的数量,因此可以根据各自的需求选择合适的隐层层数。且对于输出层神经元的个数也没有限制。 除了输入层外,其余的每层激活函数均采用 sigmod ,MLP 容易受到局部极小值与梯度弥散的困扰。
MLP神经网络结构模型如下,本文中只涉及了一个隐层,输入只有三个变量和一个偏置量
,输出层有三个神经元。相比于感知机算法中的神经元模型对其进行了集成。 网络结构如下图:
MLP的前向传播
前向传播指的是信息从第一层逐渐地向高层进行传递的过程。以下图为例来进行前向传播的过程的分析。
假设第一层为输入层,输入的信息为。对于层
,用
表示该层的所有神经元,其输出为
,其中第j个节点的输出为
,该节点的输入为
,连接第
层与第
层的权重矩阵为
,上一层(第
层)的第i个节点到第
层第
个节点的权重为
。
结合之前定义的字母标记,对于第二层的三个神经元的输出则有:
将上述的式子转换为矩阵表达式:
将第二层的前向传播计算过程推广到网络中的任意一层,则:
其中为激活函数,
为第
层第
个节点的偏置。
反向传播
使用反向传播来调整MLP模型中的参数。由于存在多层的网络结构,因此无法直接对中间的隐层利用损失来进行参数更新,但可以利用损失从顶层到底层的反向传播来进行参数的估计。反向传播的具体推倒明天再开一篇博客介绍。