完整代码请见 models/DenoisingAutoencoder.py at master · tensorflow/models · GitHub；1. Denoising Autoencoder 类设计与构造函数简单起见，这里仅考虑一种单隐层的去噪自编码器结构； 即整个网络拓扑结构为：输入层，单隐层，输出层； 输入层 ⇒ 单隐层，可视为编码的过程，需要非线性的激励函数；

在 caffe mnist tutorial 的实现中，有如下的语句：weight_filter = {type: "xavier"};随后的解释中指出，本实现将使用 xavier 算法通过输入和输出神经元的数目自动确定权值矩阵的初始化大小。

在采用随机梯度下降算法训练神经网络时，使用 tf.train.ExponentialMovingAverage 滑动平均操作的意义在于提高模型在测试数据上的健壮性（robustness）。tensorflow 下的 tf.train.ExponentialMovingAverage 需要提供一个衰减率（decay）。该衰减率用于控制模型更新的速度。该衰减率用于控制模型更新的速度，Expon...

首先来看 Inception V3 的模型架构图： 共 46 层，由 11 个 Inception Modules （模块，图中类似圆角矩形圈出的部分）构成， 如上图示，所谓的一个 Inception Module 即是对同一个输入，分别执行不同的卷积、池化等操作，最终将这些得到的输出 concat（拼接）出一个层次极深的网络；拼接时，如何保证各个操作的输出矩阵大小一致呢（深度可以不同