介绍
Tensorboard是Tensorflow的一个可视化工具,有效的展示出Tensorflow运行过程中的计算图、各种变量指标随着时间的变化趋势。实际工作中还是非常有用的。
方法
在训练过程中,主要用到了tf.summary()的各类方法:
tf.summary.scalar(name, tensor) # 生成一个summary
name:生成节点的名称
tensor:需要展示的tensor
tf.summary.histogram(name, tensor) # 直方图
name:节点名称
tf.summary.merge_all()
将此函数以上所有带有 summary 的变量聚合起来,使用起来比较省心
tf.summary.merge([loss_summary, accuracy_summary])
需要手动指定需要聚合的变量,存入参数列表中
tf.summary.FileWriter(train_log_dir, sess.graph)
打开一个writer,相当于python中的open函数,打开一个写句柄。
train_log_dir:要保存的目录
sess.graph:保存计算图(该参数可以为空)
test_summary_str = sess.run([merged_summary_test],feed_dict = {x: data,y: labels} )[0]
test_writer.add_summary(test_summary_str, i+1)
sess.run()之后,会得到一个summary字符串,将字符串和序号进行add_summary()保存
add_summary(string, i)
string:sess.run()出来的字符串
i:序号
代码演示
还是之前的vgg代码,只不过加上了tf.summary()操作,原版参照:Tensorflow使用VGG思想实现CIFAR-10十分类demo
# -*- coding:utf-8 -*-
"""
@author:老艾
@file: neuton.py
@time: 2018/08/22
"""
import tensorflow as tf
import os
import numpy as np
import pickle
# 文件存放目录
CIFAR_DIR = "./cifar-10-batches-py"
# tensorboard
# 1. 指定面板图上显示的变量
# 2. 训练过程中将这些变量计算出来,输出到文件中
# 3. 文件解析 ./tensorboard --logdir = dir.
def load_data( filename ):
'''read data from data file'''
with open( filename, 'rb' ) as f:
data = pickle.load( f, encoding='bytes' ) # python3 需要添加上encoding='bytes'
return data[b'data'], data[b'labels'] # 并且 在 key 前需要加上 b
class CifarData:
def __init__( self, filenames, need_shuffle ):
'''参数1:文件夹 参数2:是否需要随机打乱'''
all_data = []
all_labels = []
for filename in filenames:
# 将所有的数据,标签分别存放在两个list中
data, labels = load_data( filename )
all_data.append( data )
all_labels.append( labels )
# 将列表 组成 一个numpy类型的矩阵!!!!
self._data = np.vstack(all_data)
# 对数据进行归一化, 尺度固定在 [-1, 1] 之间
self._data = self._data / 127.5 - 1
# 将列表,变成一个 numpy 数组
self._labels = np.hstack( all_labels )
# 记录当前的样本 数量
self._num_examples = self._data.shape[0]
# 保存是否需要随机打乱
self._need_shuffle = need_shuffle
# 样本的起始点
self._indicator = 0
# 判断是否需要打乱
if self._need_shuffle:
self._shffle_data()
def _shffle_data( self ):
# np.random.permutation() 从 0 到 参数,随机打乱
p = np.random.permutation( self._num_examples )
# 保存 已经打乱 顺序的数据
self._data = self._data[p]
self._labels = self._labels[p]
def next_batch( self, batch_size ):
'''return batch_size example as a batch'''
# 开始点 + 数量 = 结束点
end_indictor = self._indicator + batch_size
# 如果结束点大于样本数量
if end_indictor > self._num_examples:
if self._need_shuffle:
# 重新打乱
self._shffle_data()
# 开始点归零,从头再来
self._indicator = 0
# 重新指定 结束点. 和上面的那一句,说白了就是重新开始
end_indictor = batch_size # 其实就是 0 + batch_size, 把 0 省略了
else:
raise Exception(