8.13神经网络学习笔记点

8.13神经网络学习笔记点

（1）model.compile(optimizer=Adam(lr=1e-4), loss=‘categorical_crossentropy’, metrics=[‘accuracy’])利用这个去定义模型的优化器，损失函数以及模型评价标准。

optimizer作为优化器是计算每个参数的自适应学习率的方法。
除了像 Adadelta 和 RMSprop 一样存储了过去梯度的平方 vt 的指数衰减平均值 ，也像 momentum 一样保持了过去梯度 mt 的指数衰减平均值：

如果 mt 和 vt 被初始化为 0 向量，那它们就会向 0 偏置，所以做了偏差校正，

通过计算偏差校正后的 mt 和 vt 来抵消这些偏差：

梯度更新规则:

超参数设定值:

建议 β1 ＝ 0.9，β2 ＝ 0.999，ϵ ＝ 10e−8

(2) model.fit(): fit函数返回一个History的对象，其History.history属性记录了损失函数和其他指标的数值随epoch变化的情况，如果有验证集的话，也包含了验证集的这些指标变化情况