代码学习

目录

tf.truncated_normal_initializer(stddev=0.02)) 

（１）random_ops.truncated_normal(shape, self.mean, self.stddev, dtype, seed=self.seed)

np.random.seed()

tf.variable_scope（）

---

 

tf.truncated_normal_initializer(stddev=0.02)) 

源码：

class TruncatedNormal(Initializer):
  """初始化器，用来生成截断正态分布,本质上是限制了变量x取值范围(scope)
  这些值与`random_normal_initializer`中的值类似，不同点在于丢弃并重新绘制超过平均值两个标准差的值。这是神经网络权重和过滤器（filters）的推荐初始化。
  
  参数：
   　mean: 均值
　　　stddev: 标准差
　　　seed: 生成随机种子
　　　dtype: 数据类型，只支持浮点型（ floating point types）
  """

  def __init__(self, mean=0.0, stddev=1.0, seed=None, dtype=dtypes.float32):
    self.mean = mean
    self.stddev = stddev
    self.seed = seed
    self.dtype = _assert_float_dtype(dtypes.as_dtype(dtype))

  def __call__(self, shape, dtype=None, partition_info=None):
    if dtype is None:
      dtype = self.dtype
    return random_ops.truncated_normal(
        shape, self.mean, self.stddev, dtype, seed=self.seed)　＃词句讲解见（１）

  def get_config(self):
    return {
        "mean": self.mean,
        "stddev": self.stddev,
        "seed": self.seed,
        "dtype": self.dtype.name
    }

（１）random_ops.truncated_normal(shape, self.mean, self.stddev, dtype, seed=self.seed)

源码：

def truncated_normal(shape,
                     mean=0.0,
                     stddev=1.0,
                     dtype=dtypes.float32,
                     seed=None,
                     name=None):
  """从截断的正态分布输出随机值.生成的值遵循具有指定均值和标准差的正态分布，除了丢弃并重新选取幅度大于平均值2个标准偏差的值。
  
  参数:
    shape: 输出向量的形状.
    mean: 截断的正态分布的均值.
    stddev: 截断前的正态分布的标准差
    dtype: 输出数据的类型.
    seed: 一个整型的数.用于为分布创建随机种子
    name: 操作的名称（可选）
  Returns:
    返回指定了形状（shape）的张量（tensor），张量 filled with random truncated normal values.
  """
  with ops.name_scope(name, "truncated_normal", [shape, mean, stddev]) as name:
    shape_tensor = _ShapeTensor(shape)
    mean_tensor = ops.convert_to_tensor(mean, dtype=dtype, name="mean")
    stddev_tensor = ops.convert_to_tensor(stddev, dtype=dtype, name="stddev")
    seed1, seed2 = random_seed.get_seed(seed)
    rnd = gen_random_ops.truncated_normal(
        shape_tensor, dtype, seed=seed1, seed2=seed2)
    mul = rnd * stddev_tensor
    value = math_ops.add(mul, mean_tensor, name=name)
    return value


ops.NotDifferentiable("ParameterizedTruncatedNormal")
ops.NotDifferentiable("TruncatedNormal")

 

np.random.seed()

先上一段熟悉的代码：

import numpy as np
num=0
while(num<5):
    np.random.seed(1)
    print(np.random.random())
    num+=1

print('-------------------------')

num1=0
np.random.seed(2)
while(num1<5):
    print(np.random.random())
    num1+=1

 运行结果：

0.417022004702574
0.417022004702574
0.417022004702574
0.417022004702574
0.417022004702574
---------------------
0.43599490214200376
0.025926231827891333
0.5496624778787091
0.4353223926182769
0.42036780208748903
众所周知，所谓随机数其实是伪随机数，所谓的‘伪’，意思是这些数其实是有规律的，只不过因为算法规律太复杂，很难看出来。

所谓巧妇难为无米之炊，再厉害的算法，没有一个初始值，它也不可能凭空造出一系列随机数来，诶，我们说的种子就是这个初始值。

random随机数是这样生成的：我们将这套复杂的算法（是叫随机数生成器吧）看成一个黑盒，把我们准备好的种子扔进去，它会返给你两个东西，一个是你想要的随机数，另一个是保证能生成下一个随机数的新的种子，把新的种子放进黑盒，又得到一个新的随机数和一个新的种子，从此在生成随机数的路上越走越远。

好了，回头看看我们的代码：

第一段代码把对种子的设置放在了循环里面，每次执行循环都旗帜鲜明地告诉黑盒：“我的种子是1”。那么很显然：同一个黑盒，同一个种子，自然得到的是同一个随机数。

第二段代码把对种子的设置放在了循环外面，他只在第一次循环的时候明确地告诉黑盒：“我的种子是2”。那么也很显然：从第二次循环开始，黑盒用的就是自己生成的新种子了。

多说一句：因为黑盒是始终如一的，所以只要你没改变种子，那么你得到的随机数就不会改变。
 

tf.variable_scope（）

tensorflow里面name_scope, variable_scope等如何理解　这里讲的也很详细

如果想要达到重复利用变量的效果, 我们就要使用 tf.variable_scope(), 并搭配 tf.get_variable()这种方式产生和提取变量. 不像 tf.Variable() 每次都会产生新的变量, tf.get_variable() 如果遇到了同样名字的变量时, 它会单纯的提取这个同样名字的变量(避免产生新变量). 而在重复使用的时候, 一定要在代码中强调 scope.reuse_variables(), 否则系统将会报错, 以为你只是单纯的不小心重复使用到了一个变量.