PyTorch TensorBoardX

TensorBoardX是基于tensorboard的思想用来写tensorboard events的工具，可以实现对传统的tensorboard中scalar，image，figure，histogram，audio，text，graph，onnx_graph等事件进行编写。

1 导入SummaryWriter并创建SummaryWriter实例

from tensorboardX import SummaryWriter

writer = SummaryWriter('logs')

writer.add_something(tag_name, object, iteration number)

writer就相当于一个日志，保存要做图的所有信息。第二句在目录下建立一个文件夹logs，存放画图用的文件。刚开始的时候是空的。第三局用于添加需要保存的数据。

2 常见的API（application programming interface，应用程序编程接口）

在处理深度学习任务时，我们可能经常会遇到可视化如下参数：

神经网络的结构

Loss曲线

展示image

数据的直方图

接下来逐一介绍相应的API，使用各种add方法记录数据：

1 add_scalar添加数字常量

add_scalar(tag, scalar_value, global_step = None, walltime=None)

tag (string): 数据名称，不同名称的数据使用不同曲线展示

scalar_value (float): 数字常量值

global_step (int, optional): 训练的step

wall_time (float, optional): 记录发生的时间，默认为 time.time()

这里的scalar_value一定是float类型，如果是pytorch scalar tensor，则需要调用.item() 方法获取其数值。我们一般会使用add_scalar方法来记录训练过程的loss、accuracy、learning rate等数值的变化，直观地监控训练的过程。

例子：

writer = SummaryWriter('runs/another_scalar_example')

for i in range(10):

    writer.add_scalar('quadratic', i**3, global_step=i)

    writer.add_scalar('exponential', 3**i, global_step=i)

2 add_scalars添加多个标量

add_scalars(main_tag, tag_scalar_dict, global_step = None)

main_tag (string): 标签的前缀

tag_scalar_dict (dict): {tag: value}，字典，键：名称，值：数值。tag (string): 数据的名称

global_step (int): 训练的step

3 add_image添加图像数据。该方法需要pillow库的支持

add_image(tag, img_tensor, global_step=None, walltime=None, dataformats='CHW')

tag (string): 数据名称

img_tensor (torch.Tensor / numpy.array): 图像数据

global_step (int, optional): 训练的step

walltime (float, optional): 记录发生的时间，默认为 time.time()

dataformats (string, optional): 图像数据的格式，默认‘CHW’，即 channel×height×width，还可是‘CHW’，‘HWC’，‘HW’等

例子：

from tensorboardX import SummaryWriter
import cv2

writer = SummaryWriter('runs/image_example')
for i in range(1, 5):
    writer.add_image('countdown', 
                     cv2.cvtColor(cv2.imread('{}.jpg'.format(i)), cv2.COLOR_BGR2RGB),
                     global_step=i,
                     dataformats='HWC')  # opencv读取通道为BGR，并且是HWC，而不是默认的CHW

4 add_histogram添加数据的直方图

add_histogram(tag, values, global_step=None, bins='tensorflow', walltime=None)

tag (string): 数据名称

values (torch.Tensor, numpy.array, or string / blobname): 用来构建直方图的数据

global_step (int, optional): 训练是step

bins (string, optional): 取值有‘tensorflow’、‘auto’、‘fd’等，该参数决定了分桶的方式

walltime (float, optional): 记录发生的时间，默认为 time.time()

5 add_graph可视化一个神经网络

add_graph(model, input_to_model=None, verbose=False）

model (torch.nn.Module): 待可视化的网络模型

input_to_model (torch.Tensor or list of torch.Tensor, optional): 网络的输入

6 嵌入向量 (embedding)

使用add_embedding方法可以在二维或三维空间可视化embedding向量

add_embedding(mat, metadata=None, label_img=None, global_step=None, tag='default', metadata_header=None)

mat (torch.Tensor or numpy.array): 一个矩阵，每行代表特征空间的一个数据点

metadata (list or torch.Tensor or numpy.array, optional): 一个一维列表，mat中每行数据的label，大小应和mat行数相同

label_img (torch.Tensor, optional): 一个形如 N×C×H×W的张量，对应mat每一行数据显示出的图像，N对应和mat行数相同

global_step (int, optional): 训练的step

tag (string, optional): 数据名称，不同名称的数据将分别展示

add_embedding 是一个很实用的方法，不仅可以将高维特征使用PCA、t-SNE等方法降维至二维平面或三维空间显示，还可观察每一个数据点在降维前的特征空间的K近邻情况。

7 使用TensorBoard观看

tensorboard --logdir logpath --port ××××