本文介绍了如何在PyTorch中利用TensorboardX模块来实时监控训练和验证过程中的loss、梯度范数、学习率以及运行时间。通过创建`Tacotron2Logger`类，实现了在训练和验证阶段记录scalar、histogram和image数据，包括loss分布、参数直方图、对齐图、目标与预测谱图等，以便于观察模型的训练效果。
classTacotron2Logger(SummaryWriter):def __init__(self, logdir):
super(Tacotron2Logger, self).__init__(logdir)deflog_training(self, reduced_loss, grad_norm, learning_rate, duration,
iteration):
self.add_scalar("training.loss", reduced_loss, iteration)
self.add_scalar("grad.norm", grad_norm, iteration)
self.add_scalar("learning.rate", learning_rate, iteration)
self.add_scalar("duration", duration, iteration)deflog_validation(self, reduced_loss, model, y, y_pred, iteration):
self.add_scalar("validation.loss", reduced_loss, iteration)
_, mel_outputs, gate_outputs, alignments=y_pred
mel_targets, gate_targets=y#plot distribution of parameters
for tag, value inmodel.named_parameters():
tag= tag.replace('.', '/')
self.add_histogram(tag, value.data.cpu().numpy(), iteration)#plot alignmen
最低0.47元/天 解锁文章
扫一扫
1933
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
