TensorFlow入门教程（五）：MNIST手写数字识别加强版

一、  代价函数

• 上一节中，我们采用的代价函数为：

  loss = tf.reduce_mean(tf.square(y - prediction))  # 求预测平均误差

如果，将代价函数改为交叉熵代价函数，其训练速度，精度，将更快。（详情百度数学原理）

loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y, logits=prediction))  # 交叉熵

二、优化器

在网络修改权值时，训练函数的选择是一个重要的因素，决定着训练的快慢和准确度，由下图，不同优化器到大最终点的路径如图所示，所以，采用不同的优化器函数可得到不同的效果

 

三、  Dropout

• 在数据训练中，长出现以下三种数据拟合情况：