tensorflow中常用的几种权重矩阵初始化的方式

最新推荐文章于 2023-08-30 18:55:07 发布

DX_dove

最新推荐文章于 2023-08-30 18:55:07 发布

阅读量6.7k

点赞数 1

分类专栏：图像处理深度学习

本文链接：https://blog.csdn.net/CV_YOU/article/details/80978640

版权

深度学习同时被 2 个专栏收录

38 篇文章

订阅专栏

图像处理

30 篇文章

订阅专栏

本文介绍了三种常见的权重矩阵初始化方法：截断的正态分布、Xavier 初始化器以及 CS231n 推荐的初始化方法，并给出了具体的实现代码示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

这里总结几种权重矩阵的初始化方式:

1:截断的正态分布:

def init_matrix(shape):
    return tf.truncated_normal(shape, mean=0, stddev=0.1)

2.xavier_initializer()法:这个初始化器是用来保持每一层的梯度大小都差不多相同

W = tf.get_variable("W", shape=[784, 100],
                initializer=tf.contrib.layers.xavier_initializer())

3.cs231n推荐:

w=np.random.randn(in,out)/np.sqrt(2.0/in)#in,out为输入输出的神经元个数

使用:
W1_init = np.random.randn(784, 100).astype(np.float32) * np.sqrt(2.0/(784))
b1_init = np.zeros([100]).astype(np.float32)
W2_init = np.random.randn(100, 100).astype(np.float32) * np.sqrt(2.0/(100))
b2_init = np.zeros([100]).astype(np.float32)
W3_init = np.random.randn(100, 10).astype(np.float32) * np.sqrt(2.0/(100))
b3_init = np.zeros([10]).astype(np.float32)
W_inits = [W1_init, b1_init, W2_init, b2_init, W3_init, b3_init]