利用tf.truncated_normal与tf.random_normal进行张量初始化的详解

tf.truncated_normal(shape, mean=0.0, stddev=1.0, dtype=tf.float32, seed=None, name=None


截断的正态分布中输出随机值。
生成的值服从具有指定平均值和标准偏差的正态分布,如果生成的值大于平均值2个标准偏差的值则丢弃重新选择


在正态分布的曲线中,横轴区间(μ-σ,μ+σ)内的面积为68.268949%。
横轴区间(μ-2σ,μ+2σ)内的面积为95.449974%。
横轴区间(μ-3σ,μ+3σ)内的面积为99.730020%。
X落在(μ-3σ,μ+3σ)以外的概率小于千分之三,在实际问题中常认为相应的事件是不会发生的,基本上可以把区间(μ-3σ,μ+3σ)看作是随机变量X实际可能的取值区间,这称之为正态分布的“3σ”原则。
在tf.truncated_normal中如果x的取值在区间(μ-2σ,μ+2σ)之外则重新进行选择。这样保证了生成的值都在均值附近。


参数说明:

  • shape: 一维的张量,也是输出的张量。
  • mean: 正态分布的均值。
  • stddev: 正态分布的标准差。
  • dtype: 输出的类型。
  • seed: 一个整数,当设置之后,每次生成的随机数都一样。
  • name: 操作的名字。

参考程序:

weights1 = tf.truncated_normal([5,3], mean=0.0, stddev=1.0, dtype=tf.float32, seed=None, name=None)
weights2 = tf.truncated_normal([4,3], mean=0.0, stddev=1.0, dtype=tf.float32, seed=None, name=None)
weights3 = tf.truncated_normal([4,3], mean=1.0, stddev=1.0, dtype=tf.float32, seed=None, name=None)
weights4 = tf.truncated_normal([4,3], mean=1.0, stddev=0.1, dtype=tf.float32, seed=None, name=None)
weights5 = tf.truncated_normal([4,3], mean=1.0, stddev=0.1, dtype=tf.float32, seed=None, name=None)
weights6 = tf.truncated_normal([4,3], mean=1.0, stddev=0.1, dtype=tf.float32, seed=1, name=None)
weights7 = tf.truncated_normal([4,3], mean=1.0, stddev=0.1, dtype=tf.float32, seed=1, name='weights')

with tf.Session() as sess:
    wei = sess.run([weights1, weights2, weights3, weights4, weights5, weights6, weights7])
    print(wei[0], '\n\n', wei[1],'\n\n', wei[2], '\n\n', wei[3], '\n\n', wei[4], '\n\n', wei[5], '\n\n', wei[6])

输出结果:

[[-0.40593258 -1.01910961 -0.42552167]
 [-0.37542778  1.21473289 -1.00073791]
 [ 0.15493505  1.98509014 -0.44988221]
 [-0.16089663 -0.81307292  1.75576675]
 [ 1.49424899  0.53253829 -0.44933572]] 

 [[ 1.13885188  1.2209971   0.72404194]   注:改变shape大小(相对于前一个,以下同此)
 [-0.63705486  0.94489962  1.10668516]
 [-0.77042389  1.37186134  1.10656345]
 [-0.64367491 -1.64259684  0.07670152]] 

 [[-0.3131609   2.91000032  0.05345839]   注:改变mean
 [ 1.02557099  1.4983114   1.0096215 ]
 [ 0.04088056 -0.46121705  0.84912884]
 [ 1.6297015   1.78532612  1.63241696]] 

 [[ 1.02556646  1.06140542  0.95061553]   注:改变stddev
 [ 0.95882273  1.06045055  0.93019575]
 [ 1.01397991  1.04606271  0.98129165]
 [ 0.97213674  1.02047527  0.91133404]] 

 [[ 0.8690393   1.02124465  0.98376209]   注:不改变参数
 [ 0.86988747  1.00890124  0.94916052]
 [ 1.08255732  1.18365812  1.02787971]
 [ 0.92205626  1.08017385  1.0712074 ]] 

 [[ 0.91886818  1.14845991  1.00653291]   注:设置seed
 [ 1.00992489  1.06396973  1.16108716]
 [ 1.01635361  0.84842944  1.13587773]
 [ 1.05417418  0.91399014  0.99959755]] 

 [[ 0.91886818  1.14845991  1.00653291]   注:设置name
 [ 1.00992489  1.06396973  1.16108716]
 [ 1.01635361  0.84842944  1.13587773]
 [ 1.05417418  0.91399014  0.99959755]]
分析上面的结果可以看到:

1与2相比改变shape,由[5,3]变为[4,3]; 2与3相比改变mean,3与4相比改变stddev,该两者不容易看出变化;4与5相比不改变任何参数,但是输出的结果却不相同,说明每次数据时随机生成;5与6相比改变seed,有变化但看不出规律;6与7相比,设置name,但seed一样,结果生成随机数也一样。



tf.random_normal(shape, mean=0.0, stddev=1.0, dtype=tf.float32, seed=None, name=None)


从正态分布中输出随机值。

参数说明:

  • shape: 一维的张量,也是输出的张量。
  • mean: 正态分布的均值。
  • stddev: 正态分布的标准差。
  • dtype: 输出的类型。
  • seed: 一个整数,当设置之后,每次生成的随机数都一样。
  • name: 操作的名字。

参考程序:

weights1 = tf.random_normal([5,3], mean=0.0, stddev=1.0, dtype=tf.float32, seed=None, name=None)
weights2 = tf.random_normal([4,3], mean=0.0, stddev=1.0, dtype=tf.float32, seed=None, name=None)
weights3 = tf.random_normal([4,3], mean=1.0, stddev=1.0, dtype=tf.float32, seed=None, name=None)
weights4 = tf.random_normal([4,3], mean=1.0, stddev=0.1, dtype=tf.float32, seed=None, name=None)
weights5 = tf.random_normal([4,3], mean=1.0, stddev=0.1, dtype=tf.float32, seed=None, name=None)
weights6 = tf.random_normal([4,3], mean=1.0, stddev=0.1, dtype=tf.float32, seed=1, name=None)
weights7 = tf.random_normal([4,3], mean=1.0, stddev=0.1, dtype=tf.float32, seed=1, name='weights')

with tf.Session() as sess:
    wei = sess.run([weights1, weights2, weights3, weights4, weights5, weights6, weights7])
    print(wei[0], '\n\n', wei[1],'\n\n', wei[2], '\n\n', wei[3], '\n\n', wei[4], '\n\n', wei[5], '\n\n', wei[6])

输出结果:

[[ 0.95111936 -0.57976705  0.54291123]
 [ 1.08912957  1.9003365  -0.51575106]
 [-0.22056603  0.39582339 -1.45163655]
 [-0.21177982 -0.94636458  1.94973588]
 [ 1.41111338  0.08524771 -0.22427951]] 

 [[-0.57301217  0.39068761 -0.0805126 ]   注:改变shape大小(相对于前一个,以下同此)
 [ 0.83093673  0.22929597  0.58930683]
 [-1.072523    0.71288842  0.4403919 ]
 [ 0.10952823  0.80957288 -0.10018495]] 

 [[ 1.23791981  0.23359662  1.06213105]   注:改变mean
 [ 2.20773888  2.51970339  1.2622081 ]
 [ 0.50027692  0.81421649  0.42734003]
 [ 0.44198453  0.75620997  1.00462055]] 

 [[ 0.9260726   0.82585025  1.1689316 ]   注:改变stddev
 [ 1.06053722  1.10892439  0.99613881]
 [ 0.9387871   0.99501306  0.9807108 ]
 [ 1.05458248  1.17204237  1.1695354 ]] 

 [[ 1.06076431  0.96405172  0.89795625]   注:不改变参数
 [ 0.8970378   0.91725588  1.14489996]
 [ 1.09667552  0.9301582   1.02242005]
 [ 1.05819428  1.19008327  0.81654358]] 

 [[ 0.91886818  1.14845991  1.00653291]   注:设置seed
 [ 0.75572956  1.00992489  1.05912244]
 [ 1.0592823   0.78770703  0.92771029]
 [ 0.99437296  1.06435442  0.97356761]] 

 [[ 0.91886818  1.14845991  1.00653291]   注:设置name
 [ 0.75572956  1.00992489  1.05912244]
 [ 1.0592823   0.78770703  0.92771029]
 [ 0.99437296  1.06435442  0.97356761]]
分析上面的结果可以看到:

1与2相比改变shape,由[5,3]变为[4,3]; 2与3相比改变mean,3与4相比改变stddev,该两者不容易看出变化;4与5相比不改变任何参数,但是输出的结果却不相同,说明每次数据时随机生成;5与6相比改变seed,有变化但看不出规律;6与7相比,设置name,但seed一样,结果生成随机数也一样。

另外,当设置不同的seed值时,生成的随机数自然也不同,因此对于以上两种方式给seed的设置中,在无特殊要求时,如果我们想要每次都生成相同的随机数,则只需设置seed=True即可。


结论:tf.truncated_normal与tf.random_normal生成的值服都是从具有指定平均值和标准偏差的正态分布,只不过对tf.truncated_normal而言,如果生成的值大于平均值2个标准偏差的值则丢弃重新选择



©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页