关于ELM

ELM学习记录及其一些想法

最近有幸参与了一些对于Extreme learning machine（超限学习机）的研究，对于ELM学界似乎是有一定的争论的，详情可参阅[1]，大体上其思想就在于对于神经网络问题，对神经元的权重W和b进行随机设定后，就固定不变，并不利用BP算法（也就是梯度下降算法）进行调整，然后将神将网络训练问题转化为一个最小二乘问题，去拟合训练数据。

ELM的一些证明及其想法

ELM具体过程如下：

对于如图所示激活函数为$f(x)$的前向神经网络，输出target $t$ 和输入 $x$ 有如下关系：

$$\sum _{j=1}^{n}\beta_{j}f\left( w_{j}x_{j}+b_{j}\right) =t_{i}, j=1,2,.....,L$$

对于以上L个方程组，可写为$H\beta=T$的形式，这里的H矩阵有如下的形式：

∣∣∣∣∣∣∣f(w