mnist.py学习笔记

构建MNIST网络。
实施模型建立的推理/损失/训练模式。
1. inference（） - 构建运行网络所需的模型向前做出预测。
2. loss（） - 将推理模型添加到产生损失所需的层。
3. training（） - 将损失模型添加到生成所需的Ops中应用梯度。

该文件由各种“fully_connected _ *.py”文件使用，而不是用于运行

from __future__ import absolute_import
from __future__ import division
from __future__ import print_function
import math
import tensorflow as tf

# 数据集有十个分类，数字0~9
NUM_CLASSES = 10

# mnist数据集每张图片像素为28x28
IMAGE_SIZE = 28
IMAGE_PIXELS = IMAGE_SIZE * IMAGE_SIZE

def inference(images, hidden1_units, hidden2_units):
  """Build the MNIST model up to where it may be used for inference.
  Args:
    images:图像占位符，从inputs（）。
     hidden1_units：第一个隐藏图层的大小。
     hidden2_units：第二个隐藏层的大小。
  返回：
     softmax_linear：带有计算逻辑的输出张量。
  """
  # 第一个隐藏层
  with tf.name_scope('hidden1'):
    weights = tf.Variable(
        tf.truncated_normal([IMAGE_PIXELS, hidden1_units],
                            stddev=1.0 / math.sqrt(float(IMAGE_PIXELS))),
        name='weights')
    biases = tf.Variable(tf.zeros([hidden1_units]),
                         name='biases')

    hidden1 = tf.nn.relu(tf.matmul(images, weights) + biases)

‘’‘

tf.truncated_normal(shape, mean=0.0, stddev=1.0, dtype=tf.float32, seed=None, name=None)

从截断的正态分布中输出随机值。 
生成的值服从具有指定平均值和标准偏差的正态分布，如果生成的值大于平均值2个标准偏差的值则丢弃重新选择。

在正态分布的曲线中，横轴区间（μ-σ，μ+σ）内的面积为68.268949%。 
横轴区间（μ-2σ，μ+2σ）内的面积为95.449974%。 
横轴区间（μ-3σ，μ+3σ）内的面积为99.730020%。 
X落在（μ-3σ，μ+3σ）以外的概率小于千分之三，在实际问题中常认为相应的事件是不会发生的，基本上可以把区间（μ-3σ，μ+3σ）看作是随机变量X实际可能的取值区间，这称之为正态分布的“3σ”原则。 
在tf.truncated_normal中如果x的取值在区间（μ-2σ，μ+2σ）之外则重新进行选择。这样保证了生成的值都在均值附近。

参数:

• shape: 一维的张量，也是输出的张量。
• mean: 正态分布的均值。
• stddev: 正态分布的标准差。
• dtype: 输出的类型。
• seed: 一个整数，当设置之后，每次生成的随机数都一样。
• name: 操作的名字。

 
 
tf.random_normal(shape, mean=0.0, stddev=1.0, dtype=tf.float32, seed=None, name=None)1

tf.random_normal(shape, mean=0.0, stddev=1.0, dtype=tf.float32, seed=None, name=None)

从正态分布中输出随机值。 
参数:

• shape: 一维的张量，也是输出的张量。
• mean: 正态分布的均值。
• stddev: 正态分布的标准差。
• dtype: 输出的类型。
• seed: 一个整数，当设置之后，每次生成的随机数都一样。
• name: 操作的名字。

’‘’  # 第二个隐藏层
  with tf.name_scope('hidden2'):
    weights = tf.Variable(
        tf.truncated_normal([hidden1_units, hidden2_units],
                            stddev=1.0 / math.sqrt(float(hidden1_units))),
        name='weights')
    biases = tf.Variable(tf.zeros([hidden2_units]),
                         name='biases')

    hidden2 = tf.nn.relu(tf.matmul(hidden1, weights) + biases)

  # softmax_libear
  with tf.name_scope('softmax_linear'):
    weights = tf.Variable(
        tf.truncated_normal([hidden2_units, NUM_CLASSES],
                            stddev=1.0 / math.sqrt(float(hidden2_units))),
        name='weights')
    biases = tf.Variable(tf.zeros([NUM_CLASSES]),
                         name='biases')
    logits = tf.matmul(hidden2, weights) + biases
  return logits




def loss(logits, labels):

  """

计算损失

  """
  labels = tf.to_int64(labels)
  cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits(
      labels=labels, logits=logits, name='xentropy')
  return tf.reduce_mean(cross_entropy, name='xentropy_mean')




def training(loss, learning_rate):

  """

设置训练操作。

   创建一个总结器来跟踪TensorBoard中随时间的损失。
   创建优化器并将渐变应用于所有可训练的变量。
  """
  tf.summary.scalar('loss', loss)
  # 以给定的学习率创建梯度下降优化器。
  optimizer = tf.train.GradientDescentOptimizer(learning_rate)
  # 创建一个变量来跟踪全局步骤。
  global_step = tf.Variable(0, name='global_step', trainable=False)
  #使用优化器应用最小化损失的渐变

  # （并增加全局步数计数器）作为单个培训步骤。

  train_op = optimizer.minimize(loss, global_step=global_step)
  return train_op

def evaluation(logits, labels):
  """评估模型预测质量
  """
  correct = tf.nn.in_top_k(logits, labels, 1)
  # 返回预测正确条目的数量。
  return tf.reduce_sum(tf.cast(correct, tf.int32))