model.compile()用来配置模型的优化器、损失函数,评估指标等
里面的具体参数有:
compile(
optimizer='rmsprop',
loss=None,
metrics=None,
loss_weights=None,
weighted_metrics=None,
run_eagerly=None,
steps_per_execution=None,
jit_compile=None,
**kwargs
)
我们一帮需要设置的就只有前三个参数,
一. optimizer设置优化器
没有衰减率的一般是在整个更新过程中学习率不改变,有衰减率的就是自适应学习率的优化器,就是在更新参数过程中,学习率能根据梯度自己改变。
这里的学习率改变好像是针对的这一轮中的学习率,在下一个epoch中学习率又会变成没变化之前的值。例如某一轮的学习率为0.001,在这一轮训练过程中学习率可能会变化,但是下一轮开始时学习率是0.001,也就是变化不带入下一轮训练,如果想要改变学习率,就在回调函数里设置学习率衰减方式才能改变 (不知道我说的对不对,我也不是很明白,有错误的话请大哥批评指正 )
tf.keras.optimizers中有很多优化器供我们选择:
- tf.keras.optimizers.Adadelta
tf.keras.optimizers.Adadelta(
learning_rate=0.001, #初始学习率
rho=0.95, # 衰减率
epsilon=1e-07, #加在分母避免出现除以0的情况
name='Adadelta',
**kwargs
)
- tf.keras.optimizers.Adagrad
tf.keras.optimizers.Adagrad(
learning_rate=0.001, #初始学习率
initial_accumulator_value=0.1, #动量值
epsilon=1e-07,
name='Adagrad',
**kwargs
)
- tf.keras.optimizers.Adam
Adam优化是一种基于一阶和二阶矩自适应估计的随机梯度下降方法。
根据Kingma et al.,2014的说法,该方法“计算效率高,几乎不需要内存,对梯度的对角线重新缩放不变性,非常适合于数据/参数较大的问题”。
tf.keras.optimizers.Adam(
learning_rate=0.001, #初始学习率
beta_1=0.9, #一阶矩估计的衰减率
beta_2=0.999, #二阶矩估计的衰减率
model.compile()是TensorFlow中用于配置模型优化器、损失函数和评估指标的关键步骤。常见优化器包括Adadelta, Adagrad, Adam, RMSprop和SGD。损失函数如BinaryCrossentropy和CategoricalCrossentropy用于不同类型的分类任务,而metrics可以添加Accuracy和Precision等指标以监控训练过程。"
131983931,2093205,HTML <pre> 标签详解,"['HTML', '前端开发', '源代码展示', '文本格式化']
最低0.47元/天 解锁文章

1394

被折叠的 条评论
为什么被折叠?



