tensorflow之应用tensorboard.plugins.projector实现tensorboard高维向量可视化

1.首先导入响应的包

import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
#PROJECTOR用于将高维向量进行可视化，通过PCA，T-SNE等方法将高维向量投影到三维坐标系
from tensorflow.contrib.tensorboard.plugins import projector

2.变量定义

#载入数据集
#运行后会自动下载数据集，保存到指定路径的文件夹里，比如下面是保存到当前目录的MNIST_data文件夹下
mnist=input_data.read_data_sets("MNIST_data",one_hot=True)#独热编码

#运行次数
max_steps=1001

#图片数量
image_num=3000

#文件路径
DIR="E:/TensorFlow/"

#定义会话
sess=tf.Session()

3.载入图片

#载入图片
#stack向量合并成矩阵，
#tf.stack合并矩阵 https://www.jianshu.com/p/25706575f8d4 默认axis=0
embedding=tf.Variable(tf.stack(mnist.test.images[:image_num]),trainable=False,name='embedding')

4.记录一些过程参数

#参数概要
#官网封装了一个函数，可以调用来记录很多跟某个Tensor相关的数据：
def variable_summaries(var):
    #histogram_summary用于生成分布图，也可以用scalar_summary记录存数值
    with tf.name_scope('summaries'):
        mean=tf.reduce_mean(var)
        tf.summary.scalar('mean',mean)#平均值
        with tf.name_scope('stddev'):
            stddev=tf.sqrt(tf.reduce_mean(tf.square(var-mean)))
        tf.summary.scalar('stddev',stddev)#标准差
        tf.summary.scalar('max',tf.reduce_max(var))#最大值
        tf.summary.scalar('min',tf.reduce_min(var))#最小值
        tf.summary.histogram('histogram',var)#直方图


#命名空间
with tf.name_scope('input'):
    #定义两个placeholder
    x=tf.placeholder(tf.float32,[None,784],name='x_input')
    y=tf.placeholder(tf.float32,[None,10],name='y_input')

#显示图片
with tf.name_scope('input_reshape'):
    image_shaped_input=tf.reshape(x,[-1,28,28,1])#[-1,28,28,1]  nhwc格式，n数量，h高度，w宽度，c通道，如果是彩色则c是3
    tf.summary.image('input',image_shaped_input,10)#10是放10张图片

5.创建一个简单的神经网络进行训练

with tf.name_scope('layer'):
    #创建一个简单的神经网络
    #tf.zeros([784,10])得到一个784行10列的值为0的numpy中的array类型的数据
    #初始化为0，也可以以正态分布形式初始化
    with tf.name_scope('weights'):
        w=tf.Variable(tf.zeros([784,10]),name='w')
        #variable_summaries函数会自动计算w的相应值(平均值、标准差……)
        variable_summaries(w)#记录你想追踪的Tensor，name_scope可以不写，但是当你需要在Graph中体现tensor之间的包含关系时，就要写了
    with tf.name_scope('biases'):
        #variable_summaries函数会自动计算b的相应值(平均值、标准差……)
        b=tf.Variable(tf.zeros([10]),name='b')
        variable_summaries(b)#记录你想追踪的Tensor，name_scope可以不写，但是当你需要在Graph中体现tensor之间的包含关系时，就要写了
    with tf.name_scope('wx_plus_b'):
        wx_plus_b=tf.matmul(x,w)+b
    with tf.name_scope('softmax'):
        prediction=wx_plus_b#得到的是100行10列的矩阵+1行10列的b

#交叉熵代价函数，适用于s型激活函数，比如tf.nn.softmax,这样的话上一行prediction=tf.matmul(x,w)+b就不用写成prediction=tf.nn.softmax(tf.matmul(x,w)+b)了，因为softmax_cross_entropy_with_logits会自动调用一次softmax
with tf.name_scope('loss'):
    loss=tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y,logits=prediction))
    tf.summary.scalar('loss',loss)
#使用梯度下降法
with tf.name_scope('train'):
    train_step=tf.train.GradientDescentOptimizer(0.2).minimize(loss)

#初始化变量
init=tf.global_variables_initializer()

sess.run(init)

#argmax是求最大的标签在那个位置，0是按列取，1是按行取，所以这个是取y标签矩阵的每行的最大值的位置,所以他返回一个一维数组
#equal是看两者是不是一样，一样返回true，否则false
with tf.name_scope('accuracy'):
    with tf.name_scope('correct_predict'):
        correct_predict=tf.equal(tf.argmax(y,1),tf.argmax(prediction,1))

    #求准确率
    #tf.case把true和false转化为0、1，然后reduce_mean求平均值
    with tf.name_scope('accuracy'):
        accuracy=tf.reduce_mean(tf.cast(correct_predict,tf.float32))
        tf.summary.scalar('accuracy',accuracy)

6.产生metadata文件，供projector使用 

#产生metadata文件
# if tf.gfile.Exists(DIR+'projector/projector/metadata.tsv'):
#     tf.gfile.DeleteRecursively(DIR+'projector/projector/metadata.tsv')
with open(DIR+'projector/projector/metadata.tsv','w') as f:
    labels=sess.run(tf.argmax(mnist.test.labels[:],1))#返回标签n行1列
    for i in range(image_num):
        f.write(str(labels[i])+'\n')

7.projector实现可视化

#合并所有的summary,Graph的最后要写一句这个，给session回调
merged=tf.summary.merge_all()

projector_writer=tf.summary.FileWriter(DIR+'projector/projector',sess.graph)#sess.graph声明是图的结构
sever=tf.train.Saver()
##ProjectorConfig帮助生成日志文件
config=projector.ProjectorConfig()
#添加需要可视化的embedding
embed=config.embeddings.add()
embed.tensor_name=embedding.name
#指定embedding每个点对应的标签信息，
#这个是可选的，没有指定就没有标签信息
embed.metadata_path=DIR+'projector/projector/metadata.tsv'
#指定embedding每个点对应的图像，
#这个文件也是可选的，没有指定就显示一个圆点
embed.sprite.image_path=DIR+'projector/data/mnist_10k_sprite.png'
##指定sprite图中单张图片的大小
embed.sprite.single_image_dim.extend([28,28])#按照28*28的像素进行切割
##将projector的内容写入日志文件
projector.visualize_embeddings(projector_writer,config)

其中mnist_10k_sprite.png包含10000个数字

8. 训练并输出结果

for i in range(max_steps):#100张图片训练max_steps+1次
    #每个批次100个样本
    batch_xs,batch_ys=mnist.train.next_batch(100)
    ##配置运行时需要记录的信息的protocolmessage
    run_options=tf.RunOptions(trace_level=tf.RunOptions.FULL_TRACE)
    # 运行时记录运行信息的protocolmessage
    run_metadata=tf.RunMetadata()
    summary,_=sess.run([merged,train_step],feed_dict={x:batch_xs,y:batch_ys},options=run_options,run_metadata=run_metadata)
    # 将节点运行时的信息写入日志文件
    projector_writer.add_run_metadata(run_metadata,'step%03d'%i)
    projector_writer.add_summary(summary,i)
    if i%100==0:
        acc=sess.run(accuracy,feed_dict={x:mnist.test.images,y:mnist.test.labels})
        print("Iter "+str(i)+", Testing Accuracy= "+str(acc))

sever.save(sess,DIR+'projector/projector/a_model.ckpt',global_step=max_steps)#global_step表示当前是第几步
projector_writer.close()
sess.close()

9.效果展示

十张图：

 

 其他scalars