initializer
初始化参数的工具,如何初始化权重矩阵,随机吗?非随机会不会加快训练速度和精度
tf initializer
classes | comment | example |
---|
constant | 常数 | keras.initializers.Constant(value=10.0) |
ones | 全为1 | keras.initializers.Ones() |
zeroes | 全为0 | keras.initializers.zeros() |
Identity | 单位矩阵 | keras.initializers.Identity(gain=2.0) |
- | | |
GlorotNormal | | |
- | | |
Xavier | | |
ref
1. tf initializer
2. ref
3. 初始化参数的意义