How to Train Your Deep Neural Network with Dictionary Learning(翻译)

摘要：

当今，训练神经网络存在两种比较流行的方式。第一种利用受限玻尔兹曼机（restricted Boltmanzz machine，RBM）;第二种方式是自动编码器（autoencoders）。RBMS层叠构成了深度信念网络（DBN）。最终的表示层其实就是预测值，从而构成了深度信念网络。自动编码器通过嵌入到另外一个来构成堆叠式的自动编码器。一旦学习了堆叠式的编码器，解码部分也就被分离了，另外最终结果被连接到最深层从未构成了深度信念网络。我们提出了用字典学习的作为基本的训练组件，这是一个新的方法。这种方法通过从上层的特种作为输入来训练下一层。可以利用任何的字典学习方法作为基本的单元，包括监督，非监督等。但是在最后一层我们需要用标记连续的字典学习公式来进行分类。我们在标准问题上，比较了我们提出的框架和现存的先进的深度学习技术，我们一直在十强之中。在性别和年龄的实际问题中我们相比于其他著名的算法，我们是最好的。