宽度学习（一）：宽度学习体系:有效和高效的无需深度架构的增量学习系统

Motivation

深度学习： 1，时间长：由于涉及到大量的超参数和复杂的结构，大多数神经网络的训练过程非常耗时。

                   2，重新训练：如果要更改神经网络的结构，或者增加样本，深度学习系统将遇到一个完整的重新训练过程。

宽度学习： 1，消除了训练过程长的缺点，并且提供了很好的泛化能力。

                   2，如果网络需要扩展，宽度学习网络可以快速重构，无需重新训练过程。

Preliminaries

1，RVFLNN

                                           

• 给定输入X，它乘上一组随机的权重，加上随机的偏差之后传入到增强层得到H，并且这组权重在以后不会变了。
• 输入X和增强层的计算结果H合并成一个矩阵，称为A，A=[X|H]，把A作为输入，乘上权重，加上偏差之后传到输出层。
• AW = Y，W=A-1Y，A不是一个方阵，所以是没有逆矩阵的，但是，没有逆矩阵，我们可以求A的伪逆。伪逆矩阵具有逆矩阵的部分特性，但并不完全等同。

2，伪逆和岭回归学习算法

在实际应用中，我们的样本可能有上百万个，特征也可能成千上万，这时ÿ