极限学习机简介-CSDN博客


        在 Deep Learning 大行其道热度不减时，有机会接触到了极限学习机（Extreme Learning Machine，ELM）。这个算法是新加坡南洋理工大学的黄广斌教授提出来的，idea 始于 2003 年，2004 年正式发表文章。这种算法是针对 SLFNs （即含单个隐藏层的前馈型神经网络）的监督型学习算法，其主要思想是：输入层与隐藏层之间的权值参数，以及隐藏层上的偏置向量参数是 once for all 的（不需要像其他基于梯度的学习算法一样通过迭代反复调整刷新），求解很直接，只需求解一个最小范数最小二乘问题（最终化归成求解一个矩阵的 Moore-Penrose 广义逆问题）。因此，该算法具有训练参数少、速度非常快等优点（总觉得 ELM 中的 Extreme 指的是 extreme fast，哈哈）。接下来的若干年，黄教授带领的团队在此基础上又做了更多的发展，例如，将 ELM 推广到复数域，提出基于 ELM 的在线时序算法等等。

        本文主要对最基本的 ELM 算法做一个简要介绍。