七、宽度学习系统Broad Learning System

1、宽度学习的发展

宽度学习系统（BLS） 的提出最早源于澳门大学科技学院院长陈俊龙和其学生于2018年1月发表在IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS，VOL. 29, NO. 1 的一篇文章，题目叫《Broad Learning System: An Effective and Efficient Incremental Learning System Without the Need for Deep Architecture 》。文章的主旨十分明显，就是提出了一种可以和深度学习媲美的宽度学习框架。
宽度学习系统的前身实际上是已经被人们研究了很久的随机向量函数连接网络 random vector functional-link neural network (RVFLNN)，如图下图所示：

该网络就是在单层前馈网络中增加了从输入层到输出层的直接连接。网络的第一层也叫输入层，第二层做增强层，第三层是输出层。具体来看，网络中有三种连接，分别是：
• （输入层 => 增强层）加权后有非线性变换
• （增强层 => 输出层）只有线性变换
• （输入层 => 输出层）只有线性变换

所以在随机向量函数连接网络中只有增强层是真正意义上的神经网络单元，因为只有它带了激活函数，网络的其他部分均是线性的。下面我们将这个网络结构进行简单的变形，如下图所示：
当我们把增强层和输入层排成一行时，并将它们视为一体，那网络就成了由 A（输入层+增强层）到 Y （输出层）的线性变换。线性变换对应的权重矩阵 W 就是输入层和增强层到输出层之间的线性连接。对于输入层到增强层之间的连接权重W_h和偏差β_h随机初始化并固定不变，如果我们固定输入层到增强层之间的权重W_h和偏差β_h，那么对整个网络的训练就是求出 A （输入层+增强层）到 Y（输出层） 之间的变换 W，而 W 的确定非常简单：

2、宽度学习系统（BLS）

上面我们介绍的是随机向量函数连接网络（RVFLNN）及其变形，下面我们对宽度学习系统（BLS）进行介绍。宽度学习系统（BLS）对随机向量函数连接网络（RVFLNN）的输入层做了一点改进，就是不直接用原始数据作为输入层，而是先对原始数据做了一些变换，相当于特征提取，将变化后的特征作为原RVFLNN的输入层。如下图所示：

如右侧所示的宽度学习系统，先将原始数据X经过$\varphi (X{W}_{(}{e}_i)+{\beta }_{(}{e}_i，i=1\dots n))$进行计算得到映射特征（$Z_1，Z_1\dots ..Z_n）$作为宽度学习网络的输入值。再将输入值经过 ξ ( [ Z 1 ， Z 1 … . . Z n ] W ( h j ) + β ( h j ) j = 1 , … m ) ξ([Z_1，Z_1…..Z_n ] W_(h_j )+β_(h_j ) j=1,…m) ξ([Z1​，Z1​…..Zn​]W(​h