极限学习机(Extreme Learning Machine)

转载 2015年11月19日 21:16:31

极限学习机(Extreme Learning Machine) ELM,是由黄广斌提出来的求解神经网络算法。ELM最大的特点是对于传统的神经网络,尤其是单隐层前馈神经网络(SLFNs),ELM比传统的学习算法速度更快。


ELM是一种新型的快速学习算法,对于单隐层神经网络,ELM可以随机初始化输入权重和偏置并得到相应的输
出权重。对于一个单隐层神经网络,假设有
个任意的样本,其中。对于一个有个隐层节点的单隐层神经网络可以表示为


其中,为激活函数,为输入权重,为输出权重,是第个隐层单元的偏置。表示的内积。


单隐层神经网络学习的目标是使得输出的误差最小,可以表示为


即存在,使得


可以表示为


其中是隐层节点的输出,为输出权重,为期望输出。


为了能够训练单隐层神经网络,我们希望得到使得


其中,这等价于最小化损失函数


传统的一些基于梯度下降法的算法,如BP学习算法及其变种,可以用来求解这样的问题,但是基本的基于梯度的学习算法需要在迭代的过程中调整所有参数。而在ELM算法中, 一旦输入权重和隐层的偏置被随机确定,隐层的输出矩阵就被唯一确定。训练单隐层神经网络可以转化为求解一个线性系统。并且输出权重可以被确定


其中,是矩阵的Moore-Penrose广义逆。且可证明求得的解的范数是最小的并且唯一。

Deep Learning 的挑战: Extreme Learning Machine(超限学习机)?

序: 今天刚听了一个关于 Extreme Learning Machine (超限学习机)的讲座,讲员就是ELM的提出者 黄广斌 教授 。ELM的效果自然是比SVM,BP 算法优异很多。并且相对比 当...

极限学习机(ELM)

1. 引言极限学习机(extreme learning machine)ELM是一种简单易用、有效的单隐层前馈神经网络SLFNs学习算法。2004年由南洋理工大学黄广斌副教授提出。传统的神经网络学习算...

极限学习机

  • 2016年05月06日 21:15
  • 565KB
  • 下载

极限学习机

  • 2014年05月30日 16:06
  • 746B
  • 下载

ELM极限学习机算法

ELM(extreme learning machine)极限学习机算法在2004年由南洋理工的Guang-bin Huang提出,经过进来的发展已经呈现出很好的性能,现在我把算法原作者的部分代码贴出...

差分进化极限学习机matlab代码

  • 2013年05月27日 22:52
  • 5KB
  • 下载

ELM极限学习机 Matlab代码

  • 2014年09月09日 21:53
  • 17KB
  • 下载

简单易学的机器学习算法——极限学习机(ELM)

极限学习机(Extreme Learning Machine) ELM
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:极限学习机(Extreme Learning Machine)
举报原因:
原因补充:

(最多只允许输入30个字)