2.1 损失函数
神经元模型:
激活函数:
神经网络复杂度:
损失函数:
softmax() 函数使输出满足概率分布要求,因此可用下图中代码实现交叉熵损失函数:
2.2 学习率
TensorFlow 中的 tf.train.exponential_decay() 指数衰减法
2.3 滑动平均
MOVING_AVERAGE_DECAY:衰减率,是一个超参数。
trainable_variables() 把所有待训练的参数汇总成列表。
把计算滑动平均和训练过程绑定在一起运行,用 control_dependencies() 实现: