极限学习机(Extreme Learning Machine)

转载 2015年11月19日 21:16:31

极限学习机(Extreme Learning Machine) ELM,是由黄广斌提出来的求解神经网络算法。ELM最大的特点是对于传统的神经网络,尤其是单隐层前馈神经网络(SLFNs),ELM比传统的学习算法速度更快。


ELM是一种新型的快速学习算法,对于单隐层神经网络,ELM可以随机初始化输入权重和偏置并得到相应的输
出权重。对于一个单隐层神经网络,假设有
个任意的样本,其中。对于一个有个隐层节点的单隐层神经网络可以表示为


其中,为激活函数,为输入权重,为输出权重,是第个隐层单元的偏置。表示的内积。


单隐层神经网络学习的目标是使得输出的误差最小,可以表示为


即存在,使得


可以表示为


其中是隐层节点的输出,为输出权重,为期望输出。


为了能够训练单隐层神经网络,我们希望得到使得


其中,这等价于最小化损失函数


传统的一些基于梯度下降法的算法,如BP学习算法及其变种,可以用来求解这样的问题,但是基本的基于梯度的学习算法需要在迭代的过程中调整所有参数。而在ELM算法中, 一旦输入权重和隐层的偏置被随机确定,隐层的输出矩阵就被唯一确定。训练单隐层神经网络可以转化为求解一个线性系统。并且输出权重可以被确定


其中,是矩阵的Moore-Penrose广义逆。且可证明求得的解的范数是最小的并且唯一。

极限学习机简介

在 Deep Learning 大行其道热度不减时,有机会接触到了极限学习机(Extreme Learning Machine,ELM)。这个算法是南洋理工大学的黄广斌教授提出来的,idea 始于 2...
  • peghoty
  • peghoty
  • 2013年07月09日 08:23
  • 14722

极限学习机(Extreme Learning Machine)

极限学习机(Extreme Learning Machine) ELM,是由黄广斌提出来的求解神经网络算法。ELM最大的特点是对于传统的神经网络,尤其是单隐层前馈神经网络(SLFNs),ELM比传统的...
  • sadjuno
  • sadjuno
  • 2015年11月19日 21:16
  • 416

机器学习___ELM

一.带有随机隐藏节点的单隐层前馈神经网络1.相关条件: N个不同样本(xi,tix_i,t_i), xix_i =[xi1,xi2,xi3,........,xin]T[x_{i1},x_{i2},x...
  • neu_chenguangq
  • neu_chenguangq
  • 2015年04月17日 21:16
  • 1470

ELM(Extreme Learning Machine):超限学习机

定义极限学习机器( Extreme Learning Machine,ELM) 是神经网络研究中的一种算法,是一种泛化的单隐层前馈神经网络( Single-hidden Layer Feed forw...
  • Mosout
  • Mosout
  • 2017年01月03日 18:59
  • 1595

Deep Learning 的挑战: Extreme Learning Machine(超限学习机)?

序: 今天刚听了一个关于 Extreme Learning Machine (超限学习机)的讲座,讲员就是ELM的提出者 黄广斌 教授 。ELM的效果自然是比SVM,BP 算法优异很多。并且相对比 当...
  • hanzihan123
  • hanzihan123
  • 2014年10月21日 14:47
  • 7791

使用局部泛化误差模型的极端学习机的神经网络结构的选择

  • 2015年04月14日 19:34
  • 398KB
  • 下载

极限学习机(ELM)的使用

极限学习机的理论在传统的神经网络训练中,我们通常的做法是要通过梯度下降算法来不断的调整隐层与输出层,输出层与隐层之间的权值矩阵,以及偏置b。但是ELM算法指出,其实隐层的权值矩阵W和偏置b其实是没有必...
  • jiyangsb
  • jiyangsb
  • 2016年05月09日 17:10
  • 4630

极限学习机(Extreme Learning Machine)概述

摘要当今研究领域的一项事实就是,前向神经网络(feed-forward neural networks)的训练速度比人们所期望的速度要慢很多。并且,在过去的几十年中,前向神经网络在应用领域存在着很大的...
  • ws_20100
  • ws_20100
  • 2015年11月01日 12:28
  • 11150
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:极限学习机(Extreme Learning Machine)
举报原因:
原因补充:

(最多只允许输入30个字)