DSN，W-DSN文献资料整理

Wishart Deep Stacking Network(W-DSN)资料

1. Deep Stacking Network （DSN）

深度堆叠网络(DSN)是一种具有并行性(parallel)和可塑性(scalable)学习的网络，它相比于其他网络的优点在于学习的简单性，因为他不需要随机梯度下降算法，而这种算法要实现并行性几乎是不可能的。[1] 他的应用包括语音识别，图像识别以及信息检索等领域。

DSN的架构最初源自于微软研究中心的Li Deng 和 Dong Yu，他们在2011提出了DCN（Deep Convex Net）网络[2]（注;此处的DCN网络的架构就是后期DSN网络架构，只是作者将其命名为DCN网络，而后来研究者认为DCN网络中的堆栈架构，故起名为DSN网络）。该网络的架构总结如下图1所示，

 

图 1 DCN架构总结

原文中给出的网络架构如下图2所示，图中给出了一个多层的DCN架构中的两层示意图，其中MODULE1为最底层，MODULE2为非最底层。右图图是另外一篇文献中给出的DSN网络的架构，两者表达相同含义。

                                       

DCN中非最底层模块内的数据流动如下图3所示，图中参数U为模块与输出层的权重参数，W为隐藏层与输入层的参数权重，H是隐藏层输出的向量，T是目标分类的向量。

 

图 2

由于DCN算法的权重定义在每个模块内，而不是全局的，并且是也没一批模块为基础的，故显然DCN算法具有良好的并行性。（原文：the “fine tuning” algorithm of DCN weights we developed recently is confined within each module, rather than across all layers globally. It is batch-mode based, rather than stochastic; hence it is naturally parallelizable）

1. Sparse Deep Stacking Network（SDSN）

稀疏编码可以更高阶表示图像的分类，并对噪音表示具有有良好的鲁棒性（good robust representation to noise）。SDSN的架构是DSN架构的稀疏表示，并且堆叠操作与DSN架构相同。SDSN与DSN的差异主要存在两部分[3]

1. 考虑了除了sigmoid激活函数之外的激活函数
2. 在隐含层单元中添加了稀疏性惩罚

其优化目标变成如下图4所示

 

图 4

由于结构的简单性，SDSN仍然具有DSN中参数的可塑性和计算能力并行性的优势。

1. Wishart Deep Stacking Network (WDSN )

Wishart分布可以用来制造随机对称矩阵。随机对称矩阵的一个重要性质就是正定性(positive definiteness)。虽然有很多方法来实现随机对称矩阵，Wishart分布是最常用的方法，因为Wishart分布有非常好的分析性质和与多元正态分布的关系。

在参考文献4中[4]，作者将WDSN应用于POLSAR图像的分类，（POSLAR全名为polarimetric synthetic aperture radar，在军事，农业以及地理中应用十分广泛，类似于卫星拍摄的图片）。文章中作者实现的步骤如下：

1. 利用Wishart距离将POSLAR图像信息转换为网络信息
2. 由于Wishart距离计算上的复杂性，故进行线性化，减少计算量
3. 定义Wishart Network（WN），建立数学表达式可以优化网络中参数（权重矩阵以及偏置项等），进而提高分类正确率。（见原文第四页具体数学表达式）
4. 进行监督学习训练参数
5. 如果准确率不足，可以扩展WN，具体做法增加隐藏层中单元的个数

WDSN与DSN的唯一区别在于堆叠的是WN网络。

参考文献

[1] Deng L, He X, Gao J. Deep stacking networks for information retrieval[C]//2013 IEEE International Conference on Acoustics, Speech and Signal Processing. IEEE, 2013: 3153-3157.

[2] Deng L, Yu D. Deep convex net: A scalable architecture for speech pattern classification[C]//Twelfth annual conference of the international speech communication association. 2011.

[3] Li J, Chang H, Yang J. Sparse deep stacking network for image classification[C]//Proceedings of the AAAI Conference on Artificial Intelligence. 2015, 29(1).

[4] Jiao L, Liu F. Wishart deep stacking network for fast POLSAR image classification[J]. IEEE Transactions on Image Processing, 2016, 25(7): 3273-3286.