tf.nn.moments 和 tf.nn.batch_normalization 的关系

样本方差

先求出总体各单位变量值与其算术平均数的离差的平方，然后再对此变量取平均数，就叫做样本方差。

样本方差用来表示一列数的变异程度。

方差是在概率论和统计方差衡量随机变量或一组数据时离散程度的度量。概率论中方差用来度量随机变量和其数学期望（即均值）之间的偏离程度。统计中的方差（样本方差）是每个样本值与全体样本值的平均数之差的平方值的平均数。在许多实际问题中，研究方差即偏离程度有着重要意义。

样本均值又叫样本均数。即为样本的均值。均值是指在一组数据中所有数据之和再除以数据的个数。

mean, variance = tf.nn.moments(x, axes, name=None, keep_dims=False) 
计算统计矩，mean 是一阶矩即均值，variance 则是二阶中心矩即方差，axes=[0]表示按列计算；

tf.nn.batch_normalization(x, mean, variance, offset, scale, variance_epsilon, name=None) 
tf.nn.batch_norm_with_global_normalization(x, mean, variance, beta, gamma, variance_epsilon, scale_after_normalization, name=None)；
tf.nn.moments 计算返回的 mean 和 variance 作为 tf.nn.batch_normalization 调用参数； 

 

import tensorflow as tf

W = tf.constant([[-2.,12.,6.],[3.,2.,8.]], )

mean,var = tf.nn.moments(W, axes = [0])    #按列计算

with tf.Session() as sess:

    sess.run(tf.global_variables_initializer())

    resultMean = sess.run(mean)

    print(resultMean)

    resultVar = sess.run(var)

    print(resultVar)

#输出

[ 0.5      7.    7.  ]

[ 6.25   25.     1.  ]