ELM学习记录及其一些想法
最近有幸参与了一些对于Extreme learning machine(超限学习机)的研究,对于ELM学界似乎是有一定的争论的,详情可参阅[1],大体上其思想就在于对于神经网络问题,对神经元的权重W和b进行随机设定后,就固定不变,并不利用BP算法(也就是梯度下降算法)进行调整,然后将神将网络训练问题转化为一个最小二乘问题,去拟合训练数据。
ELM的一些证明及其想法
ELM具体过程如下:
对于如图所示激活函数为 f(x) 的前向神经网络,输出target t 和输入
∑j=1nβjf(wjxj+bj)=ti,j=1,2,.....,L
对于以上L个方程组,可写为 Hβ=T 的形式,这里的H矩阵有如下的形式:
∣∣∣∣∣∣∣f(w