【文档学习】tensorboardX——summary writer

本文记录了博主学习tensorboardX的summary writer模块的笔记，官方文档。更新于2019.03.21。

什么是tensorboard X

tensorboardX是一个用tensorboard的视觉模块。由于用tensorboard命名会产生歧义，因此作者将其命名为tensorboardX（本来想取名tensorboard-pytorch的），意味着用于X的tensorboard。

Google的tensorflow中的tensorboard是一个用于服务神经网络训练过程可视化的网络服务器（web server），其可以实现标量值、图像、文本等的可视化。这些信息在tensorflow中是以event的形式保存的。这个包的作用是让使用者可以通过简单的界面用PyTorch获取events，并且在tensorboard中显示。目前，这个包支持标量、图片、音频、直方图、文本、嵌入（embedding）和反向传播的路线。手册中的内容在Ubuntu和Mac系统下测试过，用的环境是anaconda的python2和python3。

创建一个summary writer

在加载内容之前，我们需要创建一个writer instance，可以通过下面的方法实现：

from tensorboardX import SummaryWriter
#SummaryWriter压缩（包括）了所有内容
writer = SummaryWriter('runs/exp-1')
#创建writer object，log会被存入'runs/exp-1'
writer2 = SummaryWriter()
#用自动生成的文件名，文件夹类似'runs/Aug20-17-20-33'
writer3 = SummaryWriter(comment='3x learning rate')
#用自动生成的文件名创建writer3 object，注释（comment）会被加在文件名的后面。文件夹类似 'runs/Aug20-17-20-33-3xlearning rate'

每个子文件夹在tensorboard中都会被视作是不同的试验（experiments）。每次用不同设置再次运行一个experiment的时候，我们需要修改子文件夹的名称（比如runs/exp2，runs/myexp等），如此就可以轻松比较不同试验设置了。输入tensorboard runs在tensorboard中比较不同的runs。

Add Scalar

标量值是最容易处理的数据类型了。通常，我们会保存每次训练步骤下的损失值，或每个epoch下的正确率，有时也会保存对应的学习率。保存标量值的成本是很低的，只需要log下任何你认为重要的东西就可以了。可以用这个命令writer.add_scalar('myscalar', value, iteration)来记录（log）一个标量值。需要注意的是，如果给程序输入一个PyTorch tensor是不可以的，如果x是一个torch scalar tensor，要记得用x.item()提取标量值。