深度学习编程工具Tensorflow—实现LeNet-5

1. 目标与背景

在这一讲中，我们将讲解深度学习的编程工具Tensorflow的基础使用规则。最初的深度学习编程工具主要由研究人员义务开发，免费发布供大家使用，如Caffe，在2014年，由美国加州大学伯克利分校贾扬清开发。随着深度学习技术的逐渐普及，开发深度学习的编程工具变得有利可图。因此，近年来编程工具的主要开发者变成了公司。

图1 贾扬清

下面是各种开发工具的演变历程：

图2开发工具的演变历程

其中Caffe、PyTorch和TensorFlow分别由FaceBook和Google两家公司运营和维护，从影响力和使用频率来说，它们也是深度学习编程工具的三强。其他相对著名的工具还包括Baidu公司开发的Paddle，Microsoft公司开发的CNTK以及Amazon开发的MXNet等。

编程工具竞争的背后是软件和硬件整个标准的全面竞争，我们也希望国内的企业和科研机构能在这样的竞争中有所作为。在软件的应用方面总是存在易用性和灵活性的矛盾。例如最初的Caffe只支持卷积神经网络这一种深度学习的模型，因此它的代码简洁易懂、容易移植。近年来，随着相关领域研究的深入，灵活性的要求变得更多，能够适应多种深度学习模型的编程工具如PyTorch和TensorFlow，也包括新一代的Caffe2逐渐占据了主流的地位。

2. 基于LeNet的TensorFlow实现

2.1 程序代码分析

在本讲中，我们首先结合LetNet的例子来讲TensorFlow的基本语法。TensorFlow是以Python程序语言为接口吗，我们打开nnMnist.py程序：

nnMnist.py：

from __future__ import absolute_import
from __future__ import division
from __future__ import print_function

import gzip
import os
import tempfile
import tensorflow.compat.v1 as tf
tf.disable_v2_behavior()
import input_data
import numpy
from six.moves import urllib

mnist = input_data.read_data_sets('data/', one_hot=True)

def weight_variable(shape):
    initial = tf.truncated_normal(shape, stddev=0.1)
    return tf.Variable(initial)

def bias_variable(shape):
    initial = tf.constant(0.1, shape=shape)
    return tf.Variable(initial)

def conv2d(x, W, argument):
    return tf.nn.conv2d(x, W, strides=[1, 1, 1, 1], padding=argument)

def max_pool_2x2(x):
    return tf.nn.max_pool(x, ksize=[1, 2, 2, 1], strides=[1, 2, 2, 1], padding='SAME')


sess = tf.InteractiveSession()
x = tf.placeholder("float", shape=[None, 784])
y_ = tf.placeholder("float", shape=[None, 10])

#First convolutional layer
W_conv1 = weight_variable([5, 5, 1, 6])
b_conv1 = bias_variable([6])

x_image = tf.reshape(x, [-1,28,28,1])

h_conv1 = tf.nn.relu(conv2d(x_image, W_conv1, 'SAME')