目录
初始化器的用法
初始化定义了设置 Keras 各层权重随机初始值的方法。
用来将初始化器传入 Keras 层的参数名取决于具体的层。通常关键字为 kernel_initializer 和 bias_initializer:
model.add(Dense(64,
kernel_initializer='random_uniform',
bias_initializer='zeros'))
一个初始化器可以作为一个字符串传递(必须匹配上面的一个可用的初始化器),或者作为一个可调用函数传递:
from keras import initializers
# 可调用函数传递
model.add(Dense(64, kernel_initializer=initializers.random_normal(stddev=0.01)))
# 字符串传递,同样有效;将使用默认参数。
model.add(Dense(64, kernel_initializer='random_normal'))
可用的初始化器
下面这些是可用的内置初始化器,是 keras.initializers 模块的一部分:
Initializer
keras.initializers.Initializer()
初始化器基类:所有初始化器继承这个类。
Zeros
keras.initializers.Zeros()
将张量初始值设为 0 的初始化器。
Ones
keras.initializers.Ones()
将张量初始值设为 1 的初始化器。
Constant
keras.initializers.Constant(value=0)
将张量初始值设为一个常数的初始化器。
参数
value: 浮点数,生成的张量的值。
RandomNormal
按照正态分布生成随机张量的初始化器。
keras.initializers.RandomNormal(mean=0.0, stddev=0.05, seed=None)
参数
- mean: 一个 Python 标量或者一个标量张量。要生成的随机值的平均数。
- stddev: 一个 Python 标量或者一个标量张量。要生成的随机值的标准差。
- seed: 一个 Python 整数。用于设置随机数种子。
RandomUniform
按照均匀分布生成随机张量的初始化器。
keras.initializers.RandomUniform(minval=-0.05, maxval=0.05, seed=None)
参数
- minval: 一个 Python 标量或者一个标量张量。要生成的随机值的范围下限。
- maxval: 一个 Python 标量或者一个标量张量。要生成的随机值的范围下限。默认为浮点类型的 1。
- seed: 一个 Python 整数。用于设置随机数种子。
TruncatedNormal
按照截尾正态分布生成随机张量的初始化器。
keras.initializers.TruncatedNormal(mean=0.0, stddev=0.05, seed=None)
生成的随机值与 RandomNormal 生成的类似,但是在距离平均值两个标准差之外的随机值将被丢弃并重新生成
。这是用来生成神经网络权重和滤波器的推荐初始化器。
参数:
- mean: 一个 Python 标量或者一个标量张量。要生成的随机值的平均数。
- stddev: 一个 Python 标量或者一个标量张量。要生成的随机值的标准差。
- seed: 一个 Python 整数。用于设置随机数种子。
VarianceScaling
初始化器能够根据权值的尺寸调整其规模。
keras.initializers.VarianceScaling(scale=1.0, mode='fan_in',
distribution='normal', seed=None)
参数
- scale: 缩放因子(正浮点数)。
- distribution: 使用的随机分布。“normal”, “uniform” 之一。
- 使用 distribution=“normal” 时,样本是从一个以 0 为中心的截断正态分布中抽取的,stddev = sqrt(scale / n)。
- 使用 distribution=“uniform” 时,样本是从 [-limit,limit] 内的均匀分布中抽取的,其中 limit = sqrt(3 * scale / n)。
- mode: “fan_in”, “fan_out”, “fan_avg” 之一。
- n = 权值张量中输入单元的数量,如果 mode = “fan_in”。
- n = 输出单元的数量,如果 mode = “fan_out”。
- n = 输入和输出单位数量的平均数,如果 mode = “fan_avg”。
- seed: 一个 Python 整数。作为随机发生器的种子。
Orthogonal
生成一个随机正交矩阵的初始化器。
keras.initializers.Orthogonal(gain=1.0, seed=None)
参数
- gain: 适用于正交矩阵的乘法因子。
- seed: 一个 Python 整数。作为随机发生器的种子。
Identity
生成单位矩阵的初始化器。仅用于 2D 方阵
keras.initializers.Identity(gain=1.0)
参数:
gain: 适用于单位矩阵的乘法因子。
lecun_uniform
LeCun 均匀初始化器。
keras.initializers.lecun_uniform(seed=None)
它从 [-limit,limit] 中的均匀分布中抽取样本, 其中 limit 是 sqrt(3 / fan_in), fan_in 是权值张量中的输入单位的数量。
参数
seed: 一个 Python 整数。作为随机发生器的种子。
返回
一个初始化器。
lecun_normal
LeCun 正态分布初始化器。
keras.initializers.lecun_normal(seed=None)
它从以 0 为中心,标准差为 stddev = sqrt(1 / fan_in) 的截断正态分布中抽取样本, 其中 fan_in 是权值张量中的输入单位的数量。
参数
seed: 一个 Python 整数。作为随机发生器的种子。
返回
一个初始化器。
glorot_normal
Glorot 正态分布初始化器,也称为 Xavier 正态分布初始化器。
keras.initializers.glorot_normal(seed=None)
它从以 0 为中心,标准差为 stddev = sqrt(2 / (fan_in + fan_out)) 的截断正态分布中抽取样本, 其中 fan_in 是权值张量中的输入单位的数量, fan_out 是权值张量中的输出单位的数量。
参数
seed: 一个 Python 整数。作为随机发生器的种子。
返回
一个初始化器。
glorot_uniform
Glorot 均匀分布初始化器,也称为 Xavier 均匀分布初始化器。
keras.initializers.glorot_uniform(seed=None)
它从 [-limit,limit] 中的均匀分布中抽取样本, 其中 limit 是 sqrt(6 / (fan_in + fan_out)), fan_in 是权值张量中的输入单位的数量, fan_out 是权值张量中的输出单位的数量。
参数
seed: 一个 Python 整数。作为随机发生器的种子。
返回
一个初始化器。
he_normal
He 正态分布初始化器。
keras.initializers.he_normal(seed=None)
它从以 0 为中心,标准差为 stddev = sqrt(2 / fan_in) 的截断正态分布中抽取样本, 其中 fan_in 是权值张量中的输入单位的数量,
参数
seed: 一个 Python 整数。作为随机发生器的种子。
返回
一个初始化器。
he_uniform
He 均匀方差缩放初始化器。
keras.initializers.he_uniform(seed=None)
它从 [-limit,limit] 中的均匀分布中抽取样本, 其中 limit 是 sqrt(6 / fan_in), 其中 fan_in 是权值张量中的输入单位的数量。
参数
seed: 一个 Python 整数。作为随机发生器的种子。
返回
一个初始化器。
使用自定义初始化器
如果传递一个自定义的可调用函数,那么它必须使用参数 shape(需要初始化的变量的尺寸)和 dtype(数据类型):
from keras import backend as K
def my_init(shape, dtype=None):
return K.random_normal(shape, dtype=dtype)
model.add(Dense(64, kernel_initializer=my_init))