智能生产调度相关方法之极限学习机

参考：https://baike.baidu.com/item/%E6%9E%81%E9%99%90%E5%AD%A6%E4%B9%A0%E6%9C%BA/8147658?fr=aladdin

极限学习机（Extreme Learning Machine, ELM）或“超限学习机”是一类基于前馈神经网络（Feedforward Neuron Network, FNN）构建的机器学习系统或方法，适用于监督学习和非监督学习问题 [1] 。
ELM在研究中被视为一类特殊的FNN，或对FNN及其反向传播算法的改进，其特点是隐含层节点的权重为随机或人为给定的，且不需要更新，学习过程仅计算输出权重 [2] 。
传统的ELM具有单隐含层，在与其它浅层学习系统，例如单层感知机（single layer perceptron）和支持向量机（Support Vector Machine, SVM）相比较时，被认为在学习速率和泛化能力方面可能具有优势 [2] 。ELM的一些改进版本通过引入自编码器构筑或堆叠隐含层获得了深度结构，能够进行表征学习 [3-4] 。
ELM的应用包括计算机视觉和生物信息学，也被应用于一些地球科学、环境科学中的回归问题 [1] 。

ELM可以作为一种学习策略（例如对BP框架的改进），也可作为一类神经网络构筑进行论述。对于后者，标准的ELM使用单层前馈神经网络（Single Layer Feedforward neuron Network, SLFN）的结构。具体地，SLFN的组成包括输入层、隐含层和输出层，其中隐含层的输出函数具有如下定义 [1] ：

不同的隐含层节点可以有不同的映射函数，神经网络的节点也由其具有的特征映射命名，例如Sigmoid节点、径向基函数节点等。除上述映射函数外，SLFN的节点也可以是其它经过封装的计算单元 [9] ，例如模糊推理系统（fuzzy inference system）和其他次级神经网络。

标准算法

ELM算法中求解输出权重的过程中有矩阵求逆的步骤。由于映射函数的初始化是随机的，因此在实际计算中经常出现矩阵无法求逆的现象。在理论上只要设定较大的正则化参数，需要求逆的矩阵将始终是正定矩阵，但是过大的正则化系数会影响ELM的泛化能力。一个可行的改进方案，是在映射函数随机初始化的过程中，仅选择能使隐含层输出矩阵达到行满秩或列满秩的参数。这一改进可见于径向基函数和Sigmoid函数中 [11-12]
改进算法
性质与理论
有关概念与比较
应用