宽度学习系统研究进展

宽度学习系统研究进展

《计算机应用研究》-任长娥，袁超。孙彦丽，刘竹琳，陈俊龙-2021

思路

当数据规模庞大时，深度学习模型会遇到权重调整耗时，容易陷入局部最优解的问题。
于是，宽度学习系统应运而生，宽度学习系统不仅结构简单、训练速度快、准确率高，而且还具有增量学习的优势。
深度学习技术比较常见的有DBN,DBM,CNN,RNN等。
深度神经网络通过增加网络层数来提升网络性能，在反向传播中采用逐层求梯度的方式更新权重，这将导致模型容易陷入局部最优解、梯度消失、梯度爆炸、建模速度慢等问题。
BLS即宽度学习系统将输入数据经过特征映射生成特征节点，再将特征节点经过非线性变换生成增强节点；将特征节点和增强节点拼接起来作为隐藏层，隐藏层的输出经连接权重得到最终输出。BLS只需要借助伪逆求解网络隐藏层到输出层的权重即可，这种方式非常快速且不会遇到梯度消失或爆炸的问题。另外，当模型的测试准确率达不到预期的要求时，BLS还可以使用增量学习方法快速实现模型的重建。

BLS概述

深度神经网络的前向传播：
反向传播：
基于此种方法，提出随机向量函数连接神经网络RVFLNN。首先将原始数据X经过非线性变换得到隐藏层【其中神经元即增强节