TensorFlow学习
文章平均质量分 67
lovive
这个作者很懒,什么都没留下…
展开
-
covariate shift现象的解释
一、什么是covariate shift?在论文中经常碰到covariate shift这个词,网上相关的中文解释比较少。你可能会在介绍深度学习Batch Normalization方法的论文到中看到covariate shift这个词,并且所有看过这篇论文的或者实际做过工程的人,都知道BN这种归一化手段很好用,可以避免covariate shift那么covariate shift到转载 2017-12-26 18:03:25 · 10330 阅读 · 1 评论 -
谈谈Tensorflow的Batch Normalization的使用
tensorflow 在实现Batch Normalization (各个网络层输出的结果归一化,以防止过拟合)时,主要用到一下两个API。分别是1)tf.nn.moments(x, axes, name=None, keep_dims=False) ⇒ mean, variance: 其中计算的得到的为统计矩,mean 是一阶矩,variance 是二阶中心矩 各参数的另一为原创 2017-12-29 09:46:43 · 7258 阅读 · 0 评论 -
tensorflow学习笔记(2):tf.clip_by_value,tf.expand_dims等函数的用法
1)tf.clip_by_value的用法该函数主要是为了防止,gradiant计算得到的值太大或者太小tf.clip_by_value(A, min, max):输入一个张量A,把A中的每一个元素的值都压缩在min和max之间。小于min的让它等于min,大于max的元素的值等于max。import tensorflow as tfimport numpy as npdat原创 2017-12-29 16:18:59 · 982 阅读 · 0 评论