极限学习机 matlab,深度极限学习机的研究笔记

深度极限学习机(DELM)目前主要含两种基本结构：1、利用传统深度学习框架(主要是堆栈自动编码器，或者是深度置信网络)进行数据的深度自适应特征提取，而后将获得的特征输入至极限学习机及其变种中进行分类或回归；2、利用极限学习机与自动编码器相结合，形成极限学习机-自动编码器(ELM-AE)，结构如图1，将ELM-AE作为无监督学习的基础单元对输入数据进行训练与学习，并保存ELM-AE由最小二乘法获得的输出权值矩阵用于堆栈多层极限学习机(ML-ELM)。

图1 ELM-AE结构

关于第一种深度极限学习机，可改进的地方较少，大部分人就是将不同的深度学习方法与不同的极限学习机变种进行结合，方法较为简单。我们今天就说说第二种深度极限学习机，后文所述的深度极限学习机默认是第二种。

和其他深度学习相比，深度极限学习机无需微调，ELM-AE与最终的DELM分类层(或回归层)均采用最小二乘法且只进行一步反向计算得到更新后的权重，因此显著特点是速度快。缺点也很明显，第一，ELM-AE的输入层权值与偏置依旧是随机生成，且不进行反向调整，因此DELM的精度ELM-AE输入权值的影响；第二，采用多隐含层结构的DELM，各层节点数对最终精度有着较大影响；第三，采用最小二乘法进行输出权值一步更新，在样本数较少时比较方便，当处理大样本问题时(比如MNIST)，在计算Moore伪逆的时候极大地增加了计算时间与复杂度，并且特别容易出现欠拟合。目前已有的文献基本上就是根据上述几个缺点进行模型的优化改进，比如针对缺点一，丁教授等人提出权值不确定性深度极限学习机与拉普拉斯多层极限学习机，主要是对ELM-AE的基础结构进行了改进。针对问题2，主要就是