极限学习机(Extreme Learning Machine)

转载 2015年11月19日 21:16:31

极限学习机(Extreme Learning Machine) ELM,是由黄广斌提出来的求解神经网络算法。ELM最大的特点是对于传统的神经网络,尤其是单隐层前馈神经网络(SLFNs),ELM比传统的学习算法速度更快。


ELM是一种新型的快速学习算法,对于单隐层神经网络,ELM可以随机初始化输入权重和偏置并得到相应的输
出权重。对于一个单隐层神经网络,假设有
个任意的样本,其中。对于一个有个隐层节点的单隐层神经网络可以表示为


其中,为激活函数,为输入权重,为输出权重,是第个隐层单元的偏置。表示的内积。


单隐层神经网络学习的目标是使得输出的误差最小,可以表示为


即存在,使得


可以表示为


其中是隐层节点的输出,为输出权重,为期望输出。


为了能够训练单隐层神经网络,我们希望得到使得


其中,这等价于最小化损失函数


传统的一些基于梯度下降法的算法,如BP学习算法及其变种,可以用来求解这样的问题,但是基本的基于梯度的学习算法需要在迭代的过程中调整所有参数。而在ELM算法中, 一旦输入权重和隐层的偏置被随机确定,隐层的输出矩阵就被唯一确定。训练单隐层神经网络可以转化为求解一个线性系统。并且输出权重可以被确定


其中,是矩阵的Moore-Penrose广义逆。且可证明求得的解的范数是最小的并且唯一。

相关文章推荐

极限学习机(ELM)算法的介绍与实现

极限学习机(ELM)算法的介绍与实现

超限学习机(ELM)

ELM(Exteme learning machine,超限学习机),由新加坡南洋理工大学的Guangbin Huang(黄光斌)副教授提出的。

基于极限学习机ELM的人脸识别程序

前言有关极限学习机基础知识请参考 极限学习机详解思路可以直接将ELM看做一个黑盒算法,将人脸图片转化为NUMPY数组加入到ELM中即可。代码import hpelm import numpy as ...

极限学习机(ELM) 算法及MATLAB程序实现

极限学习机 单 隐 藏 层 反 馈 神 经 网 络 具 有 两 个 比 较 突 出 的 能 力 ( 1) 可以直接从训练样本中拟 合 出 复 杂 的 映 射 函 数 f : x ^ t ( 2 ) ...

Neon Intrinsics各函数介绍

Neon Intrinsics各函数介绍!

极限学习机(ELM)的使用

极限学习机的理论在传统的神经网络训练中,我们通常的做法是要通过梯度下降算法来不断的调整隐层与输出层,输出层与隐层之间的权值矩阵,以及偏置b。但是ELM算法指出,其实隐层的权值矩阵W和偏置b其实是没有必...

极限学习机简介

在 Deep Learning 大行其道热度不减时,有机会接触到了极限学习机(Extreme Learning Machine,ELM)。这个算法是南洋理工大学的黄广斌教授提出来的,idea 始于 2...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)