Regression and Multiclass Classification Using Sparse Extreme Learning Machine via Smoothing Group L

通过$光滑的L_{1/2}$组稀疏器实现稀疏极端学习器模型，进而实现回归和多级分类

摘要：

极端学习器是一个简单的前项神经网络模型，因为该模型的学习速度快和泛化能力强使得其广泛运用与各个领域。
存在问题：经验风险最小化模型下使用ELM进行训练容易发生过拟合，此外，ELM给出的节点的比实际需要的多，这意味着网络结构的稀疏度不够。
给出两个方案训练ELM：

1. 组$L_{1/2}$正则
2. 光滑组$L_{1/2}$正则方法
   bug: 基础的组$L_{1/2}$在原点不可维，所以会导致震荡(oscillation)。因此本文使用光滑组$L_{1/2}$正则方法修正基础的组$L_{1/2}$版本。
   实验结果：
   合成数据表明使用光滑组$L_{1/2}$正则方法的ELM能有效的侦查出冗余节点;以及剩余节点的冗余权重，该方法比传统的ELM方法的性能更好。(传统的ELM方法：$L_1$正则方法，组$L_{1/2}$正则方法).

keyword

Extreme learning machine, group L1/2 regularizer, smoothing approximation, sparse.

介绍

前馈神经网络Feedforward neural networks (FNNs)的输入数据只往前传递，而不反传。前馈神经网络包括back propagation (BP) network, and radial basis function (RBF) network, 这些网络用于分类和回归。但是传统的FNNs一般使用梯度原则调整所有参数的算法。缺点：效率低、弱学习性能、易掉入局部最优。