![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
tensorflow
文章平均质量分 78
蜗牛一步一步往上爬
计算机视觉研究生
展开
-
TensorFlow softmax VS sparse softmax
Difference between sparse_softmax_cross_entropy_with_logits and softmax_cross_entropy_with_logits差别在tensorflow中使用softmax loss的时候,会发现有两个softmax cross entropy。刚开始很难看出什么差别,结合程序看的时候,就很容易能看出两者差异。总的来说两者都是计算分原创 2017-09-06 07:39:44 · 11287 阅读 · 1 评论 -
GAN and CGAN on MNIST dataset
GAN and CGAN关于GAN和CGAN的教程网上有好多,感兴趣的可以自己去找着看看。最重要的是要弄清楚,GAN是干嘛的?作者在论文和NIPS2016 tutorial里面都讲了很多设计GAN的初衷。简单来说,GAN就是用来拟合样本的分布的。看了论文总觉得理解得不够透彻,就在网上找了一些简单的程序跑了跑,下面就直接来说说程序和实验结果吧。GANGAN的结构如下图所示。 实验数据集采用了MNIS原创 2017-09-21 10:11:55 · 2738 阅读 · 0 评论 -
sigmoid_cross_entropy_with_logits and weighted_cross_entropy_with_logits
当样本的 labels 是多个独立的二分类问题时,loss 函数之前的激活函数应该是 sigmoid/tanh,而不能使用softmax了。如果激活函数是sigmoid,这种情况下我们的loss函数就是sigmoid_cross_entropy_with_logits。Tensorflow中,logits都是指未经过激活函数的输出,即所谓的 unscaled。sigmoid_cross_entrop原创 2018-01-03 12:00:10 · 4300 阅读 · 0 评论 -
Batch Normalization
Batch Normalization 被认为是一种加速网络收敛速度的很好的方法。关于BN的原理在原论文中有很详细的介绍。网上也有很多介绍的博客。简单来说,BN是对feature按照空间位置进行规范化。但是需要注意的是,对于CNN网络,BN的操作是比较特殊的。具体说来,对于卷积层,我们希望BN能够和卷积一样,对于feature的不同空间位置处的值具有同样的效果。为了做到这一点,我们在规范化时,对每一原创 2017-12-28 00:56:21 · 704 阅读 · 0 评论