8.13神经网络学习笔记点
(1)model.compile(optimizer=Adam(lr=1e-4), loss=‘categorical_crossentropy’, metrics=[‘accuracy’])利用这个去定义模型的优化器,损失函数以及模型评价标准。
optimizer作为优化器是计算每个参数的自适应学习率的方法。
除了像 Adadelta 和 RMSprop 一样存储了过去梯度的平方 vt 的指数衰减平均值 ,也像 momentum 一样保持了过去梯度 mt 的指数衰减平均值:
如果 mt 和 vt 被初始化为 0 向量,那它们就会向 0 偏置,所以做了偏差校正,
通过计算偏差校正后的 mt 和 vt 来抵消这些偏差:
梯度更新规则:
超参数设定值:
建议 β1 = 0.9,β2 = 0.999,ϵ = 10e−8
(2) model.fit(): fit函数返回一个History的对象,其History.history属性记录了损失函数和其他指标的数值随epoch变化的情况,如果有验证集的话,也包含了验证集的这些指标变化情况