在上一篇《DeepLearning 的挑战: Extreme Learning Machine(超限学习机)?》 中介绍了一些ELM与DL 的一些比较,这篇主要介绍ELM的原理。
首先,ELM的核心就是将复杂的迭代过程转变为隐层参数随机产生。
其次,ELM 是一个神经网络,有输入层、隐藏层,输出层。
最后,ELM 的多分类效果优于SVM,而且速度贼快。
对于训练样本集{xi,ti} i=1-N, 共有N各样本,其中每个样本xi 是一个d维列向量,ti是输出标签。
ELM,的输出为:
其中,wj 为连接第j 各隐节点的输入权值;bj 为第j个隐节点的偏差; j 为第j各隐节点到ELM输出节点的权值;g()为第j各隐节点的输出函数;
而, h(xi)=[g(w1,b1,xi),…..,g(wL,bL,xi)]为隐层关于xi的输出向量,h(xi)