好记性不如烂笔头

Difference between sparse_softmax_cross_entropy_with_logits and softmax_cross_entropy_with_logits差别在tensorflow中使用softmax loss的时候，会发现有两个softmax cross entropy。刚开始很难看出什么差别，结合程序看的时候，就很容易能看出两者差异。总的来说两者都是计算分

GAN and CGAN关于GAN和CGAN的教程网上有好多，感兴趣的可以自己去找着看看。最重要的是要弄清楚，GAN是干嘛的？作者在论文和NIPS2016 tutorial里面都讲了很多设计GAN的初衷。简单来说，GAN就是用来拟合样本的分布的。看了论文总觉得理解得不够透彻，就在网上找了一些简单的程序跑了跑，下面就直接来说说程序和实验结果吧。GANGAN的结构如下图所示。 实验数据集采用了MNIS

Batch Normalization 被认为是一种加速网络收敛速度的很好的方法。关于BN的原理在原论文中有很详细的介绍。网上也有很多介绍的博客。简单来说，BN是对feature按照空间位置进行规范化。但是需要注意的是，对于CNN网络，BN的操作是比较特殊的。具体说来，对于卷积层，我们希望BN能够和卷积一样，对于feature的不同空间位置处的值具有同样的效果。为了做到这一点，我们在规范化时，对每一