卷积神经Extracting and Composing Robust Features with Denoising Autoencoders

摘要:之前的工作已经知道深度模型生成或者识别模型的困难，可以通过无监督初始化解决，从而使的输入与中间的代表一一对应。我们对无监督学习表示介绍一个新的训练规则，是基于学习表示粗略用部分输入模式，这个方法可以用来训练自动编码，这个去噪编码，可以用来堆放初始化深度结构，这个算法可以被改进无论从多方面，信息增益生成模型，

引言:

    最近的理论研究表明，深度结构可能需要一个有效的复杂的分布，并且会在模式识别的挑战中获得较为不错的表现。相信额外的功能成分水平将会获得增强代表性，使得模型强健已经不再是新的想法，然而在实际中，深度结构的学习是非常困难的，唯一需要的是考虑在深度结构中的推断困难的问题，由于解释漂移()，再回素以下历史上的多隐藏层的模型，可以知道，最优化的困难已经阻止了超过一层或者两层隐藏层的期望效益。然而这种情况已经改变，对于深度信念网络的训练和和迭代自动编码。

       成功的重要的因素好像是用一个无监督的标准训练，去训练layer-layer初始化，每一个layer首次训练来产生塔的上一层的观察值，基于这个表示作为输入，最优化无监督。each level所产生的输入模式会比下一层更抽象，是由于它是通过更多层计算所产生，这个初始化产生一个出发点，然后从一个全局微调模型得到参数，用一个适当的训练标准，这个方法已经经试验避免了经典方法随机初始化参数所造成的解释不讨好的结果。尽管无监督的映射学习，（产生输入模式的中间表示）似乎是关键，但很少人会理解中间好的表示代表着什么在初始化深层结构，什么样的明确的标准可以引导学习类似的表示方法，我们知道的如RBM，以及各种类型的自动变码；

     现如今的研究一个好的中间表示应该满足什么样的明确规则，很不明显至少他应该保留有关输入的一定量的信息（对于原始信息的多少，不一定要全部信息，由于人脑的关键因素，提取的关键因素），同时被限制到一个给定的形式（例如：一个自动编码的实值向量的大小），另外一些补充性已经被提出，例如表示的稀疏性。在这里我们假设并且调查了另外一个标准，对于输入的局部破坏得鲁棒性，部分被毁的输入应该会收到几乎相同的表示；我们是通过一下非正式原因提出的：我们期望这样的一个表示，能够扑捉一个稳定结构，能偶依赖这个形式，对于观测值未知分布的规律性特征。对于高维深长的输入（例如图像），像这样的结构更有可能依赖于从一些维度的输入收集到的证据

  他们应该能够从部分数据进行可恢复的，最有效的说明是我们人类的能力，鉴别部分遮挡或者部分损坏的的图像，进一步的证明是我们人类形成的高维概念，关联到多个模式，图像声音，回想他，即使部分信息丢失。；

       为了证实我们的假说，并且评估他作为一个向导原则在深度结构中的有效性。我们对自动编码框架提出了一个修正，来明确损坏图像的鲁棒性，第二章详细描述了算法，第三章讨论了与其他方法的相关性，第4张致力于从不同立场对模型的检验，第4张实验，

       第二章算法描述

     x，y是联合分布p(x,y),它的边际分布是p(x),p(y),对于以下的文章，我们用一下标记，。熵:(2),条件熵：（3），kuulback_leibler divergence：（4）(具体翻译http://www.cnblogs.com/ywl925/p/3554502.html)，Cross-熵：（5）；（我们可以看出来H（x）的熵与KL和Cross-熵之间的关系，）。交互信息：(6)（此为样本重构图像与图像之间熵的差值；以及sigmoid函数。以及期望值为u的薄女里方程和他的扩展，我们做考虑的部分是典型的有监督学习，他的训练集如下形式（输入，目标）（7）：样本来自于一个未知的分布q(x,t)，并且有线对应的边际分布q(x),q(T)。公式如下：具体是（n）代表第几个公式

2.2 基本编码原理

   再开始我们首先回想一下传统的编码模型，就比如027用在深度网络中，自定编码通过一个决定映射函数（1），参数为（2），把输入向量（3）映射到隐藏层（4），W是一个(5)的权重矩阵b是偏置量，则隐藏层的结果y根据映射返回一个重构的图像向量(6),则输入空间（7）带‘代表转置，因此每一个训练（1）对应一个隐藏层（2）和重构（3），这个模型的参数最优化是使得重构误差达到最小（4）