model.compile()用来配置模型的优化器、损失函数,评估指标等
里面的具体参数有:
compile(
optimizer='rmsprop',
loss=None,
metrics=None,
loss_weights=None,
weighted_metrics=None,
run_eagerly=None,
steps_per_execution=None,
jit_compile=None,
**kwargs
)
我们一帮需要设置的就只有前三个参数,
一. optimizer设置优化器
没有衰减率的一般是在整个更新过程中学习率不改变,有衰减率的就是自适应学习率的优化器,就是在更新参数过程中,学习率能根据梯度自己改变。
这里的学习率改变好像是针对的这一轮中的学习率,在下一个epoch中学习率又会变成没变化之前的值。例如某一轮的学习率为0.001,在这一轮训练过程中学习率可能会变化,但是下一轮开始时学习率是0.001,也就是变化不带入下一轮训练,如果想要改变学习率,就在回调函数里设置学习率衰减方式才能改变 (不知道我说的对不对,我也不是很明白,有错误的话请大哥批评指正 )
tf.keras.optimizers中有很多优化器供我们选择:
- tf.keras.optimizers.Adadelta
tf.keras.optimizers.Adadelta(
learning_rate=0.001, #初始学习率
rho=0.95, # 衰减率
epsilon=1e-07, #加在分母避免出现除以0的情况
name='Adadelta',
**kwargs
)
- tf.keras.optimizers.Adagrad
tf.keras.optimizers.Adagrad(
learning_rate=0.001, #初始学习率
initial_accumulator_value=0.1, #动量值
epsilon=1e-07,
name='Adagrad',
**kwargs
)
- tf.keras.optimizers.Adam
Adam优化是一种基于一阶和二阶矩自适应估计的随机梯度下降方法。
根据Kingma et al.,2014的说法,该方法“计算效率高,几乎不需要内存,对梯度的对角线重新缩放不变性,非常适合于数据/参数较大的问题”。
tf.keras.optimizers.Adam(
learning_rate=0.001, #初始学习率
beta_1=0.9, #一阶矩估计的衰减率
beta_2=0.999, #二阶矩估计的衰减率