TensorBoardX是基于tensorboard的思想用来写tensorboard events的工具,可以实现对传统的tensorboard中scalar,image,figure,histogram,audio,text,graph,onnx_graph等事件进行编写。
1 导入SummaryWriter并创建SummaryWriter实例
from tensorboardX import SummaryWriter
writer = SummaryWriter('logs')
writer.add_something(tag_name, object, iteration number)
writer就相当于一个日志,保存要做图的所有信息。第二句在目录下建立一个文件夹logs,存放画图用的文件。刚开始的时候是空的。第三局用于添加需要保存的数据。
2 常见的API(application programming interface,应用程序编程接口)
在处理深度学习任务时,我们可能经常会遇到可视化如下参数:
神经网络的结构
Loss曲线
展示image
数据的直方图
接下来逐一介绍相应的API,使用各种add方法记录数据:
1 add_scalar添加数字常量
add_scalar(tag, scalar_value, global_step = None, walltime=None)
tag (string): 数据名称,不同名称的数据使用不同曲线展示
scalar_value (float): 数字常量值
global_step (int, optional): 训练的step
wall_time (float, optional): 记录发生的时间,默认为 time.time()
这里的scalar_value一定是float类型,如果是pytorch scalar tensor,则需要调用.item() 方法获取其数值。我们一般会使用add_scalar方法来记录训练过程的loss、accuracy、learning rate等数值的变化,直观地监控训练的过程。
例子:
writer = SummaryWriter('runs/another_scalar_example')
for i in range(10):
writer.add_scalar('quadratic', i**3, global_step=i)
writer.add_scalar('exponential', 3**i, global_step=i)
2 add_scalars添加多个标量
add_scalars(main_tag, tag_scalar_dict, global_step = None)
main_tag (string): 标签的前缀
tag_scalar_dict (dict): {tag: value},字典,键:名称,值:数值。tag (string): 数据的名称
global_step (int): 训练的step
3 add_image添加图像数据。该方法需要pillow库的支持
add_image(tag, img_tensor, global_step=None, walltime=None, dataformats='CHW')
tag (string): 数据名称
img_tensor (torch.Tensor / numpy.array): 图像数据
global_step (int, optional): 训练的step
walltime (float, optional): 记录发生的时间,默认为 time.time()
dataformats (string, optional): 图像数据的格式,默认‘CHW’,即 channel×height×width,还可是‘CHW’,‘HWC’,‘HW’等
例子:
from tensorboardX import SummaryWriter
import cv2
writer = SummaryWriter('runs/image_example')
for i in range(1, 5):
writer.add_image('countdown',
cv2.cvtColor(cv2.imread('{}.jpg'.format(i)), cv2.COLOR_BGR2RGB),
global_step=i,
dataformats='HWC') # opencv读取通道为BGR,并且是HWC,而不是默认的CHW
4 add_histogram添加数据的直方图
add_histogram(tag, values, global_step=None, bins='tensorflow', walltime=None)
tag (string): 数据名称
values (torch.Tensor, numpy.array, or string / blobname): 用来构建直方图的数据
global_step (int, optional): 训练是step
bins (string, optional): 取值有‘tensorflow’、‘auto’、‘fd’等,该参数决定了分桶的方式
walltime (float, optional): 记录发生的时间,默认为 time.time()
5 add_graph可视化一个神经网络
add_graph(model, input_to_model=None, verbose=False)
model (torch.nn.Module): 待可视化的网络模型
input_to_model (torch.Tensor or list of torch.Tensor, optional): 网络的输入
6 嵌入向量 (embedding)
使用add_embedding方法可以在二维或三维空间可视化embedding向量
add_embedding(mat, metadata=None, label_img=None, global_step=None, tag='default', metadata_header=None)
mat (torch.Tensor or numpy.array): 一个矩阵,每行代表特征空间的一个数据点
metadata (list or torch.Tensor or numpy.array, optional): 一个一维列表,mat中每行数据的label,大小应和mat行数相同
label_img (torch.Tensor, optional): 一个形如 N×C×H×W的张量,对应mat每一行数据显示出的图像,N对应和mat行数相同
global_step (int, optional): 训练的step
tag (string, optional): 数据名称,不同名称的数据将分别展示
add_embedding 是一个很实用的方法,不仅可以将高维特征使用PCA、t-SNE等方法降维至二维平面或三维空间显示,还可观察每一个数据点在降维前的特征空间的K近邻情况。
7 使用TensorBoard观看
tensorboard --logdir logpath --port ××××