论文 Stacked Broad Learning System: From Incremental Flatted Structure to Deep Model

Stacked Broad Learning System

• 这篇文章中综述了BLS的几种深层变体，并提出了一种新的自适应增量结构—— Stacked BLS。

CLASSICAL BROAD LEARNING SYSTEM AND ITS DEEP VARIANTS

Brief Introduction of BLS

• 关于经典BLS的介绍 ：特征节点 增强节点 输出层

Deep Variants for BLS

• Cascaded BLS
  • 以特征映射节点或增强节点(例如CFEBLS)的级联为特征。
  • 新型的具有级联增强节点的致密连接的改进BLS (CEBLS dense)。每个模块的第一个增强节点的输入由所有功能节点和前一个模块的最后一个增强节点组成。每个模块的最后一个节点被发送到输出，以有效地避免冗余信息和过拟合问题。
• Recurrent and Gated BLS for Sequential Data : 将循环神经网络嵌入BLS, 使得模型具有处理顺序信号的能力。
  • 将两个级联的特征映射节点修改为类似递归系统的结构，称为递归特征节点。
  • 将级联增强节点转换为递归增强节点，以便能够捕获数据的动态特征，称为递归增强节点。
• Convolutional BLS : CNN-BLS 构造BLS核和卷积核
• Deep Cascade BLS : 特征修改节点和映射节点分别转化为n和m个深度级联结构。

ADAPTIVE DEEP VARIANT OF BROAD LEARNING SYSTEM: STACKED STRUCTURE

• 大量的线性或非线性信息连接到输出层可以进一步增强BLS的性能，但这样的修改可能会增加网络的冗余，本文中通过构建BLS网络的替代深度变体来解决以上的问题。
  

Stacked BLS

• 为了从原始BLS中分离出单独的BLS块，我们按照如下方式重新制定块。对于第$i$块，我们有
  • 两个权重是唯一的， $v_i=g(u_{i-1})$, 这里$g$为恒等函数，即 $v_i=u_{i-1}$。 根据不同的问题， 可以选择不同的$P_i$和$P_j$,同理 $Q_i$和$Q_j$。
  • 获取两个$W$ ：其中$y$为预期输出，最优解可以由岭回归逼近。
    
    
• 为了充分利用每个BLS块的输出，用所有的输出$u_i$来近似最后的输出$y$。相邻的块通过残差进行组合，即每个块的期望输出可以为
  
  对于任意给定的训练数据$(x_i,y_i)$时，设置$y_1=y$和$v_1=x$生成第一个BLS块，即
  
  这里的两个$W$可以由(15)中计算的伪逆得到
  
• 对于后续块，使用(16)中的输出作为新输入进行训练。换句话说，第一个BLS网络$g(u_1)$转换后的输出被馈送到下一个单独的块作为训练数据，记为$v2=g(u_1)$，第二个BLS块$y_2$的期望输出是第一个BLS块的残差，$y_2=y-u_1$。
• 通过以上方法堆叠BLS块获得stacked BLS
  • 在堆叠方法中，当添加新的BLS网络时，前一个块是固定的，BLS块在建立新块时避免了重新训练过程。
  • 堆叠式BLS可以看作是BLS增量扩展的重要延伸。

Incremental Learning of Stacked BLS

• 堆叠BLS+在块中增加增强节点
  
• 假设对于第$i$个块，增加一组$p$个增强节点。因此，第$i$块的公式可由以下公式得出，其中$Q_P(g(u_{i-1})，W_{ei},W_{ahi})$为新的增强节点，权值$W_{aHi}$ 随机泛化。
  

RESIDUAL WITHIN THE STRUCTURE OF BROAD LEARNING SYSTEM

• 残差深嵌在BLS和堆叠BLS中
• 尽管BLS的结构意味着残差的构造，但在特定应用中的性能可能与基于残差的深度网络有所不同，最重要的原因是他们的训练方法基本上是有区别的。

PERFORMANCE EVALUATION OF STACKED BLS

• Regression on UCI Datasets
• Classification on MNIST and NORB Datasets
• Classification on Fashion-MNIST Dataset
• Classification on CIFAR-10, SVHN, and CIFAR-100 Datasets
• 结论 ： 堆叠BLS的性能优于一些深度网络结构。