Tensorflow框架实现LeNet-5
1. 目标与背景
在这一讲中,我们将讲解深度学习的编程工具Tensorflow
的基础使用规则。最初的深度学习编程工具主要由研究人员义务开发,免费发布供大家使用,如Caffe
,在2014年,由美国加州大学伯克利分校贾扬清开发。随着深度学习技术的逐渐普及,开发深度学习的编程工具变得有利可图。因此,近年来编程工具的主要开发者变成了公司。
下面是各种开发工具的演变历程:
其中Caffe
、PyTorch
和TensorFlow
分别由FaceBook和Google两家公司运营和维护,从影响力和使用频率来说,它们也是深度学习编程工具的三强。其他相对著名的工具还包括Baidu公司开发的Paddle
,Microsoft公司开发的CNTK
以及Amazon开发的MXNet
等。
编程工具竞争的背后是软件和硬件整个标准的全面竞争,我们也希望国内的企业和科研机构能在这样的竞争中有所作为。在软件的应用方面总是存在易用性和灵活性的矛盾。例如最初的Caffe
只支持卷积神经网络这一种深度学习的模型,因此它的代码简洁易懂、容易移植。近年来,随着相关领域研究的深入,灵活性的要求变得更多,能够适应多种深度学习模型的编程工具如PyTorch
和TensorFlow
,也包括新一代的Caffe2
逐渐占据了主流的地位。
2. 基于LeNet的TensorFlow实现
2.1 程序代码分析
在本讲中,我们首先结合LetNet
的例子来讲TensorFlow
的基本语法。TensorFlow
是以Python
程序语言为接口吗,我们打开nnMnist.py
程序:
nnMnist.py:
from __future__ import absolute_import
from __future__ import division
from __future__ import print_function
import gzip
import os
import tempfile
import tensorflow.compat.v1 as tf
tf.disable_v2_behavior()
import input_data
import numpy
from six.moves import urllib
mnist = input_data.read_data_sets('data/', one_hot=True)
def weight_variable(shape):
initial = tf.truncated_normal(shape, stddev=0.1)
return tf.Variable(initial)
def bias_variable(shape):
initial = tf.constant(0.1, shape=shape)
return tf.Variable(initial)
def conv2d(x, W, argument):
return tf.nn.conv2d(x, W, strides=[1, 1, 1, 1], padding=argument)
def max_pool_2x2(x):
return tf.nn.max_pool(x, ksize=[1, 2, 2, 1], strides=[1, 2, 2, 1], padding='SAME')
sess = tf.InteractiveSession()
x = tf.placeholder("float", shape=[None, 784])
y_ = tf.placeholder("float", shape=[None, 10])
#First convolutional layer
W_conv1 = weight_variable([5, 5, 1, 6])
b_conv1 = bias_variable([6])
x_image = tf.reshape(x, [-1,28,28,1])
h_conv1 = tf.nn.relu(conv2d(x_image, W_conv1, 'SAME') + b_conv1)
h_pool1