菜鸟角度的mnist_softmax代码详解

mnist_softmax代码详解

文章是我分析该代码的记录，修改了一点点代码

• 尝试两种初始化权重以及偏置的方式（发觉对模型准确度无提升）
• 使用指数学习率：train.exponential_decay
• 增加了一层for循环，每训练100次打印一下准确度
• 尝试增加一层隐藏层（准确度提升）
• 继续增加模型复杂度，看一看过拟合的情况。再用Dropout减少过拟合看看结果

首先给出该教程的官网页面与中文翻译之后的页面（建议两者结合起来看)

官网（需要梯子）
中文翻译（非极客）

---

正文：

• 导入的内容：

from __future__ import absolute_import
from __future__ import division
from __future__ import print_function

import argparse
import sys

from tensorflow.examples.tutorials.mnist import input_data

import tensorflow as tf

• 这里假设你已经下载了数据集，如果没有，应该先执行：
  from tensorflow.examples.tutorials.mnist import input_data
  mnist = input_data.read_data_sets(“MNIST_data/”, one_hot=True)
  下载数据集，下载之后的文件夹为MNIST_data，共4个压缩包 *

• read_data_sets方法在 tensorflow.contrib.learn.python.learn.datasets.mnist中
  我们将标签称为“one-hot vectors”。一个one-hot是一个大多数维 度上为0，一个维度上为1的向量。

 mnist = input_data.read_data_sets(FLAGS.data_dir, one_hot=True)

• x_: 是我们接下来在会话（session）中会feed的图像数据（batch_xs）。设置为浮点型，[None,784]中：
  None表示我们可以输入任意数量的Minist的图像；784指的是每一张图展平成784维的向量——28×28 = 784
  W是权重矩阵，因为共有10种分类，所以是784x10的矩阵；b是偏置；y是x_与W的矩阵之积， 也就是当前在权重和偏置之下所计算出来的得分（之后会由softmax转化关于10个数字类的概率分布）
  y_是之后要feed的标签数据

  x_ = tf.placeholder(tf.float32, [None, 784])
  # y_与y的关系：y（在softmax_cross_entropy_with_logits方法中会自动用softmax计算）和y_（真实标签）
  # 必须具有相同的[batch_size，num_classes]和相同的dtype（float32或float64）。
  y_ = tf.placeholder(tf.float32, [None, 10])

• 1.尝试用0初始化（跳过2 3 的代码）

  W = tf.Variable(tf.zeros([784, 10]))
  b = tf.Variable(tf.zeros([10]))
  y = tf.matmul(x_, W) + b

• 2.尝试非0初始化，但是没有起到增加准确度的作用（跳过1 3 的代码）

  W = tf.Variable(tf.truncated_normal([784,10],stddev=0.1))
  b = tf.Variable(tf.zeros([10])+0.1)
  y = tf.matmul(x_, W) + b

• 3.增加一隐藏层，并增加神经元个数（跳过1 2 的代码）

    W1 = tf.Variable(tf.truncated_normal([784,1000],stddev=0.1))
    b1 = tf.Variable(tf.zeros([1000])+0.1)
    L1 = tf.nn.tanh(tf.matmul(x_,W1)+b1)

    W2 = tf.Variable(tf.truncated_normal([1000,10],stddev=0.1))
    b2 = tf.Variable(tf.zeros([10])+0.1)
    y = tf.matmul(L1, W2) + b2

cross_entropy = tf.reduce_mean(
  ''' 对下面的函数的理解：这个函数的作用就是计算softmax层的交叉熵，只不过tensorflow把
   softmax计算与交叉熵计算放到一起了，用一个函数来实现，以前的方法can be numerically unstable
   具体的解释看下文末尾：
http://blog.csdn.net/behamcheung/article/details/71911133'''
      tf.nn.softmax_cross_entropy_with_logits(labels=y_, logits=y))
  # 设置学习率——1：直接设置
  train_step = tf.train.GradientDescentOptimizer(0.5).minimize(cross_entropy)
  # 设置学习率——2：使用指数学习率
  global_step = tf.Variable(0, trainable=False)
  starter_learning_rate = 0.5
  learning_rate = tf.train.exponential_decay(starter_learning_rate, global_step,
                                           100000, 0.97)

• 优化器Optimizer（大家还可以尝试更多的优化器，比如：
  
  AdadeltaOptimizer比较快，但是相同迭代次数准确度不一定比随机梯度高）

train_step=tf.train.GradientDescentOptimizer(learning_rate).minimize(cross_entropy，global_step=global_step)

  sess = tf.InteractiveSession()
  # 初始化W和b
  tf.global_variables_initializer().run()
  # Train
  for times in range(20): # python3.x 中取消了xrange();print也必须加括号：print（）
        for _ in range(100):
            batch_xs, batch_ys = mnist.train.next_batch(100)
            sess.run(train_step, feed_dict={x_: batch_xs, y_: batch_ys})

    # Test trained model
        correct_prediction = tf.equal(tf.argmax(y, 1), tf.argmax(y_, 1))
        accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))

        #这里我将train数据集也带进去了，如果两次的准确率变化情况差距很小很小，说明模型没有出现过拟合以及欠拟合
        print("Iter ："+str(times)+"- 训练集准确度为：",sess.run(accuracy, feed_dict={x_: mnist.train.images,y_: mnist.train.labels}))
        print("Iter ："+str(times)+"- 测试集准确度为：",sess.run(accuracy, feed_dict={x_: mnist.test.images,y_: mnist.test.labels}))

• 测试模型

  # argmax(input, axis=None, name=None, dimension=None)axis：0表示按列，1表示按行。返回最大值的下标
  # equal操作返回一个布尔值列表。这里是[True, False, True, True....]的转置
  correct_prediction = tf.equal(tf.argmax(y, 1), tf.argmax(y_, 1))
  # tf.cast(x, dtype, name=None)：将x转换为dtype，便于计算概率
  accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
  #这里我将train数据集也带进去了，如果两次的准确率变化情况差距很小，说明模型没有出现过拟合以及欠拟合
  print("训练 ："+str(times)+"- 准确度为：",sess.run(accuracy, feed_dict={x_: mnist.train.images,y_: mnist.train.labels}))
  print("    测试 ："+str(times)+"- 准确度为：",sess.run(accuracy, feed_dict={x_: mnist.test.images,y_: mnist.test.labels}))

以上的next_batch、mnist.test.images、mnist.test.images都在下面文件中定义：https://github.com/tensorflow/tensorflow/blob/master/tensorflow/contrib/learn/python/learn/datasets/mnist.py

if __name__ == '__main__':
  parser = argparse.ArgumentParser()
  parser.add_argument('--data_dir', type=str, default='/tmp/tensorflow/mnist/input_data',
                      help='Directory for storing input data')
  FLAGS, unparsed = parser.parse_known_args()
  tf.app.run(main=main, argv=[sys.argv[0]] + unparsed)

以下是我的一些测试结果：

1.

2.