极限学习机Extreme learning machine: Theory and applications论文笔记

论文笔记

摘要

因传统的机器学习算法基于梯度更新算法与不断 迭代更新参数所以速度慢，论文提出了单隐藏层前馈神经网络SLFN，随机选择隐藏节点，分析决定权重。因为算法速度快于传统的前馈神经网络，所以称极限学习机 

介绍

从数学的角度来看，在前馈神经网络的逼近能力的研究主要集中于两方面：一是无限逼近于紧凑输入数据集，二是逼近于有限训练样本。论文再次指出传统前馈神经网络使用的的梯度下降算法更新速度慢可能源于不正确的学习速率并且容易导致局部最优化点。

SLFN需要微调参数，SLFN（有N个随机选择权重的隐藏节层点与偏差）

论文首先证明了输入权重与隐藏层偏差可以被随机生成（在激活函数在隐藏层是无限可微的条件下）在随机选择输入权值和隐含层偏差后，SLFNs可以简单地看作是一个线性系统和输出权值(将隐层连接到输出层)，通过对隐层输出矩阵进行简单的广义逆运算，可以分析确定隐层输出矩阵。论文指出极限学习机的方法不仅容易达到最小训练误差，还容易达到最小的权重范数，这里最小的权重范数是根据Bartlett关于前馈神经网络状态泛化性能的理论，前馈神经网络的训练误差越小，权值范数越小，网络的泛化性能越好

 

单隐藏层前馈神经网可用随机生成权重的证明 

对于一个单隐层神经网络(见Figure 1)，假设有个任意的样本，其中，。对于一个有个隐层节点的单隐层神经网络可以表示为

其中，为激活函数，为输入权重，为输出权重，是第个隐层单元的偏置。表示和的内积。

单隐层神经网络学习的目标是使得输出的误差最小，可以表示为

 

即存在，和，使得

可以矩阵表示为

其中，是隐层节点的输出，为输出权重，为期望输出。

，

为了能够训练单隐层神经网络，我们希望得到，和，使得

其中，，这等价于最小化损失函数

传统的一些基于梯度下降法的算法，可以用来求解这样的问题，但是基本的基于梯度的学习算法需要在迭代的过程中调整所有参数。而在ELM算法中, 一旦输入权重和隐层的偏置被随机确定，隐层的输出矩阵就被唯一确定。训练单隐层神经网络可以转化为求解一个线性系统。并且输出权重可以被确定

其中，是矩阵的Moore-Penrose广义逆。且可证明求得的解的范数是最小的并且唯一。
--------------------- 
作者：zhiyong_will 
来源：CSDN 
原文：https://blog.csdn.net/google19890102/article/details/18222103 
版权声明：本文为博主原创文章，转载请附上博文链接！