1.首先导入响应的包
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
#PROJECTOR用于将高维向量进行可视化,通过PCA,T-SNE等方法将高维向量投影到三维坐标系
from tensorflow.contrib.tensorboard.plugins import projector
2.变量定义
#载入数据集
#运行后会自动下载数据集,保存到指定路径的文件夹里,比如下面是保存到当前目录的MNIST_data文件夹下
mnist=input_data.read_data_sets("MNIST_data",one_hot=True)#独热编码
#运行次数
max_steps=1001
#图片数量
image_num=3000
#文件路径
DIR="E:/TensorFlow/"
#定义会话
sess=tf.Session()
3.载入图片
#载入图片
#stack向量合并成矩阵,
#tf.stack合并矩阵 https://www.jianshu.com/p/25706575f8d4 默认axis=0
embedding=tf.Variable(tf.stack(mnist.test.images[:image_num]),trainable=False,name='embedding')
4.记录一些过程参数
#参数概要
#官网封装了一个函数,可以调用来记录很多跟某个Tensor相关的数据:
def variable_summaries(var):
#histogram_summary用于生成分布图,也可以用scalar_summary记录存数值
with tf.name_scope('summaries'):
mean=tf.reduce_mean(var)
tf.summary.scalar('mean',mean)#平均值
with tf.name_scope('stddev'):
stddev=tf.sqrt(tf.reduce_mean(tf.square(var-mean)))
tf.summary.scalar('stddev',stddev)#标准差
tf.summary.scalar('max',tf.reduce_max(var))#最大值
tf.summary.scalar('min',tf.reduce_min(var))#最小值
tf.summary.histogram('histogram',var)#直方图
#命名空间
with tf.name_scope('input'):
#定义两个placeholder
x=tf.placeholder(tf.float32,[None,784],name='x_input')
y=tf.placeholder(tf.float32,[None,10],name='y_input')
#显示图片
with tf.name_scope('input_reshape'):
image_shaped_input=tf.reshape(x,[-1,28,28,1])#[-1,28,28,1] nhwc格式,n数量,h高度,w宽度,c通道,如果是彩色则c是3
tf.summary.image('input',image_shaped_input,10)#10是放10张图片
5.创建一个简单的神经网络进行训练
with tf.name_scope('layer'):
#创建一个简单的神经网络
#tf.zeros([784,10])得到一个784行10列的值为0的numpy中的array类型的数据
#初始化为0,也可以以正态分布形式初始化
with tf.name_scope('weights'):
w=tf.Variable(tf.zeros([784,10]),name='w')
#variable_summaries函数会自动计算w的相应值(平均值、标准差……)
variable_summaries(w)#记录你想追踪的Tensor,name_scope可以不写,但是当你需要在Graph中体现tensor之间的包含关系时,就要写了
with tf.name_scope('biases'):
#variable_summaries函数会自动计算b的相应值(平均值、标准差……)
b=tf.Variable(tf.zeros([10]),name='b')
variable_summaries(b)#记录你想追踪的Tensor,name_scope可以不写,但是当你需要在Graph中体现tensor之间的包含关系时,就要写了
with tf.name_scope('wx_plus_b'):
wx_plus_b=tf.matmul(x,w)+b
with tf.name_scope('softmax'):
prediction=wx_plus_b#得到的是100行10列的矩阵+1行10列的b
#交叉熵代价函数,适用于s型激活函数,比如tf.nn.softmax,这样的话上一行prediction=tf.matmul(x,w)+b就不用写成prediction=tf.nn.softmax(tf.matmul(x,w)+b)了,因为softmax_cross_entropy_with_logits会自动调用一次softmax
with tf.name_scope('loss'):
loss=tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y,logits=prediction))
tf.summary.scalar('loss',loss)
#使用梯度下降法
with tf.name_scope('train'):
train_step=tf.train.GradientDescentOptimizer(0.2).minimize(loss)
#初始化变量
init=tf.global_variables_initializer()
sess.run(init)
#argmax是求最大的标签在那个位置,0是按列取,1是按行取,所以这个是取y标签矩阵的每行的最大值的位置,所以他返回一个一维数组
#equal是看两者是不是一样,一样返回true,否则false
with tf.name_scope('accuracy'):
with tf.name_scope('correct_predict'):
correct_predict=tf.equal(tf.argmax(y,1),tf.argmax(prediction,1))
#求准确率
#tf.case把true和false转化为0、1,然后reduce_mean求平均值
with tf.name_scope('accuracy'):
accuracy=tf.reduce_mean(tf.cast(correct_predict,tf.float32))
tf.summary.scalar('accuracy',accuracy)
6.产生metadata文件,供projector使用
#产生metadata文件
# if tf.gfile.Exists(DIR+'projector/projector/metadata.tsv'):
# tf.gfile.DeleteRecursively(DIR+'projector/projector/metadata.tsv')
with open(DIR+'projector/projector/metadata.tsv','w') as f:
labels=sess.run(tf.argmax(mnist.test.labels[:],1))#返回标签n行1列
for i in range(image_num):
f.write(str(labels[i])+'\n')
7.projector实现可视化
#合并所有的summary,Graph的最后要写一句这个,给session回调
merged=tf.summary.merge_all()
projector_writer=tf.summary.FileWriter(DIR+'projector/projector',sess.graph)#sess.graph声明是图的结构
sever=tf.train.Saver()
##ProjectorConfig帮助生成日志文件
config=projector.ProjectorConfig()
#添加需要可视化的embedding
embed=config.embeddings.add()
embed.tensor_name=embedding.name
#指定embedding每个点对应的标签信息,
#这个是可选的,没有指定就没有标签信息
embed.metadata_path=DIR+'projector/projector/metadata.tsv'
#指定embedding每个点对应的图像,
#这个文件也是可选的,没有指定就显示一个圆点
embed.sprite.image_path=DIR+'projector/data/mnist_10k_sprite.png'
##指定sprite图中单张图片的大小
embed.sprite.single_image_dim.extend([28,28])#按照28*28的像素进行切割
##将projector的内容写入日志文件
projector.visualize_embeddings(projector_writer,config)
其中mnist_10k_sprite.png包含10000个数字
8. 训练并输出结果
for i in range(max_steps):#100张图片训练max_steps+1次
#每个批次100个样本
batch_xs,batch_ys=mnist.train.next_batch(100)
##配置运行时需要记录的信息的protocolmessage
run_options=tf.RunOptions(trace_level=tf.RunOptions.FULL_TRACE)
# 运行时记录运行信息的protocolmessage
run_metadata=tf.RunMetadata()
summary,_=sess.run([merged,train_step],feed_dict={x:batch_xs,y:batch_ys},options=run_options,run_metadata=run_metadata)
# 将节点运行时的信息写入日志文件
projector_writer.add_run_metadata(run_metadata,'step%03d'%i)
projector_writer.add_summary(summary,i)
if i%100==0:
acc=sess.run(accuracy,feed_dict={x:mnist.test.images,y:mnist.test.labels})
print("Iter "+str(i)+", Testing Accuracy= "+str(acc))
sever.save(sess,DIR+'projector/projector/a_model.ckpt',global_step=max_steps)#global_step表示当前是第几步
projector_writer.close()
sess.close()
9.效果展示
十张图:
其他scalars