tensorboard可视化训练之train_loss和eval_loss放在同一曲线图中

最新推荐文章于 2020-12-26 19:33:50 发布
置顶 最新推荐文章于 2020-12-26 19:33:50 发布
阅读量6.4k 收藏 19
点赞数 1
分类专栏： 实战总结 文章标签： tensorflow tensorboard
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mingo220/article/details/103252204
版权
本文介绍了如何在TensorFlow中使用TensorBoard将训练loss和验证loss绘制在同一曲线图上，以更好地分析模型的训练状态，包括过拟合和欠拟合的情况。
摘要由CSDN通过智能技术生成

在进行模型训练时，需要同时将训练loss曲线和测试loss曲线显示在一个曲线图中，便于观察网络训练情况（是否过拟合、欠拟合）。

方法：
train_writer = tf.summary.FileWriter(FLAGS.log_dir+'train', sess.graph)
eval_writer = tf.summary.FileWriter(FLAGS.log_dir+'eval'
最低0.47元/天 解锁文章
明子哥哥
关注
  • 1
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
专栏目录
tensorboard同时记录训练集和测试集的loss
Dive的博客
04-08 2373
1 为train和test分别写好loss cost = tf.losses.mean_squared_error(y, predict) loss = tf.sqrt(tf.reduce_mean(cost))#rmse tf.summary.scalar('train_loss',loss)#画loss #画测试集的loss 但是需要用测试集的数据传入feed cost1 = tf.loss...
深度学习——损失函数
weixin_43344710的博客
10-28 789
深度学习——损失函数 之前由于个人懒惰的发了篇极差的文章，现在更正错误，发一篇正在学习tensorflow的笔记 在构建神经网络过程中，为了刻画神经网络模型的效果以及优化目标，需要使用到损失函数(loss function) 什么是损失函数 所谓损失函数使用来估计模型预测值与实际值的不一样程度，是一个绝对值，损失函数越小，模型的拟合度越好。 在之前的机械学习过程中，学过代价函数(cost func...
收藏 | PyTorch模型训练特征图可视化（TensorboardX）
机器学习算法那些事
11-09 3305
仅作学术分享，不代表本公众号立场，侵权联系删除转载于：作者丨Pascal@知乎来源丨https://www.zhihu.com/people/pascal_cs/posts0、前言本文所...
神经网络与深度学习---train_loss和val_loss(test_lost)分析
xtcc的博客
12-26 1万+
1.train_loss 不断下降，val_loss(test_lost) 不断下降 说明网络训练正常，最好情况 2.train_loss 不断下降，val_loss(test_lost) 趋于不变 说明网络过拟合，可以添加dropout和最大池化max pooling 3.train_loss 趋于不变，val_loss(test_lost) 不断下降 说明数据集有问题，建议重新选择 4.train_loss 趋于不变，val_loss(test_lost) 趋于不变 说明学习遇到瓶颈，需要减小学习率或批
tensorboard 的可视化 同得到train和validation的loss曲线
热门推荐
jiachen0212的博客
10-16 1万+
效果图如上，精髓在于：    summary_writer_train = tf.summary.FileWriter(FLAGS.logs_dir + '/train', sess.graph)   summary_writer_val = tf.summary.FileWriter(FLAGS.logs_dir + '/val') #这里不需要再加入graph. 第二行末尾不需要加s
val loss曲线出现尖峰，train loss一直下降趋于平稳
qq_43156003的博客
08-05 2836
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 ANN6分类问题，tensorflow + keras +python 正常不应该是train loss下降再上升嘛，找到
train_pytorch_图像分类/pytorch_train_
09-29
6. **训练循环**：在`train.py`中，会有一个包含迭代（epoch）和批次（batch）的训练循环。在每个批次中，模型会预测图像类别，然后计算损失，更新参数。同时，还会有验证循环来检查模型在未见过的数据上的性能。 7...
STM3210C.rar_STM3210C _STM3210C-EVAL_stm32 原理图
09-23
这个压缩包"STM3210C.rar"包含了STM3210C的相关资料，特别是"STM3210C-EVAL"评估板的原理图，对于学习和理解STM3210C的硬件设计非常有帮助。 STM3210C-EVAL评估板是专为开发者提供的一个平台，用于测试和演示STM...
详解Ruby中的instance_eval方法及其与class_eval的对比
09-21
**instance_eval** 方法属于Ruby语言中的eval家族成员之一，它的主要功能是将一个代码块（通常是一个包含Ruby代码的字符串）在指定对象的上下文中执行。这种特性使得它成为了一种强大的工具，尤其在需要动态生成代码...
tensorflow下的图片标准化函数per_image_standardization用法
09-16
在TensorFlow中，`tf.image.per_image_standardization`是一个用于图片标准化的内置函数，它有助于加速神经网络的训练过程。这个函数通过将图片的像素值进行标准化，使得不同特征具有相同的尺度，从而确保在训练过程...
AD9516_17_18 Eval Software
01-24
AD9516、AD9517和AD9518是Analog Devices公司生产的高性能、高精度的时钟发生器芯片，广泛应用于通信、数据处理和测试测量等领域。这些芯片提供了灵活的配置选项，以满足不同系统的需求。"AD9516_17_18 Eval ...
STM3210C_EVAL_stm32_STM3210C_EVAL_temperature565_
09-29
在给定的标题"STM3210C_EVAL_stm32_STM3210C_EVAL_temperature565_"中，我们可以推测这是与STM3210C EVAL板相关的项目或者固件更新，可能包含了针对STM3210C处理器的温度测量或控制功能。"temperature565"可能指的是...
STM8开发环境 CXSTM8_idea_sim_eval
06-27
STM8开发环境 CXSTM8_idea_sim_evalSTM8开发环境 CXSTM8_idea_sim_evalSTM8开发环境 CXSTM8_idea_sim_evalSTM8开发环境 CXSTM8_idea_sim_evalSTM8开发环境 CXSTM8_idea_sim_evalSTM8开发环境 CXSTM8_idea_sim_...
Micrium_uC-Eval-STM32F107_uCOS-III.zip_STM32F107_uCOS full_uc--e
07-15
在使用这份源码时，开发者应首先了解uCOS-III的系统结构和API，然后配置STM32F107的相关外设，如设置时钟、初始化GPIO、配置中断等。接着，可以创建任务并定义它们的执行逻辑，通过调用uCOS-III的函数来启动和管理...
arm_cortex_m3_designstart_eval
12-13
arm_cortex_m3_designstart_eval，arm cortex m3的设计文档
plt将tensorboard几张loss图合为一张的代码
qq_42250789的博客
12-05 2494
import matplotlib.pyplot as plt import matplotlib as mpl import numpy as np from matplotlib.font_manager import FontProperties import csv '''读取csv文件''' def readcsv(files): csvfile = open(files, 'r') plots = csv.reader(csvfile, delimiter=',') .
一、常见损失函数的用法
Freeloop_hg的博客
11-30 1796
前言 定义损失函数的常用方法，其中包括多分类交叉熵、均方差、二分类交叉熵的用法。其作用包括：1.衡量模型输出值和标签值的差异；2.评估模型的预测值与真实值不一致程度；3.神经网络中优化的目标函数，损失函数越小，预测值越接近真实值，模型健壮性也越好。 一、L1-loss（MAE）、L2- loss（MSE）、smooth L1- loss、交叉熵损失函数是什么？ 二、使用步骤 1.损失函数方法 代码如下（示例）： #定义损失函数，更新梯度---- loss_fn = torch.nn.CrossEnt
神经网络模型中class的forward函数何时调用_总结深度学习PyTorch神经网络箱使用...
weixin_39878760的博客
11-23 4622
↑ 点击蓝字关注极市平台来源丨计算机视觉联盟编辑丨极市平台极市导读本文介绍了Pytorch神经网络箱的使用，包括核心组件、神经网络实例、构建方法、优化器比较等内容，非常全面。>>加入极市CV技术交流群，走在计算机视觉的最前沿1神经网络核心组件核心组件包括：层：神经网络的基本结构，将输入张量转换为输出张量模型：层构成的网络损失函数：参数学习的目标函数，通过最小化损失函数来...
pytorch中使用tensorboard绘制Accuracy/Loss曲线（train和test显示在同一幅图中）
陈正长
04-13 1万+
tensorboard可以在同一幅图中显示不同的文件，所以将train和test分开存，简要记录代码。 from torch.utils.tensorboard import SummaryWriter log_dir = os.path.join('tensorboard', 'train') train_writer = SummaryWriter(log_dir=log_dir) lo...
需要在learning_curve函数里里得到train_loss，score参数如何设置
最新发布
05-26
在 `learning_curve` 函数中，`train_loss` 和 `score` 参数都需要传入一个函数对象，分别用于计算训练损失和评估模型性能。 对于 `train_loss` 参数，你可以传入一个函数来计算每一轮训练后的损失，该函数应该接受一个训练集的迭代器和模型对象，然后返回当前训练轮次的平均损失。 对于 `score` 参数，通常情况下，你可以传入一个函数来评估模型的性能，该函数应该接受一个测试集的迭代器和模型对象，然后返回一个评估指标，例如准确率、F1 值等等。 具体的实现，可以参考以下示例代码： ```python import torch from sklearn.metrics import accuracy_score def train_loss(data_loader, model): model.train() loss_fn = torch.nn.CrossEntropyLoss() total_loss = 0.0 n = 0 for batch in data_loader: inputs, targets = batch outputs = model(inputs) loss = loss_fn(outputs, targets) total_loss += loss.item() * len(inputs) n += len(inputs) return total_loss / n def test_score(data_loader, model): model.eval() y_true, y_pred = [], [] with torch.no_grad(): for batch in data_loader: inputs, targets = batch outputs = model(inputs) _, preds = torch.max(outputs, dim=1) y_true.extend(targets.tolist()) y_pred.extend(preds.tolist()) return accuracy_score(y_true, y_pred) # 使用示例 from torch.utils.data import DataLoader, TensorDataset import numpy as np X_train = np.random.random(size=(1000, 10)) y_train = np.random.randint(0, 2, size=(1000,)) train_dataset = TensorDataset(torch.tensor(X_train), torch.tensor(y_train)) train_loader = DataLoader(train_dataset, batch_size=32, shuffle=True) X_test = np.random.random(size=(200, 10)) y_test = np.random.randint(0, 2, size=(200,)) test_dataset = TensorDataset(torch.tensor(X_test), torch.tensor(y_test)) test_loader = DataLoader(test_dataset, batch_size=32, shuffle=False) from skorch import NeuralNetClassifier from skorch.callbacks import EarlyStopping net = NeuralNetClassifier( module=torch.nn.Linear(10, 2), criterion=torch.nn.CrossEntropyLoss, optimizer=torch.optim.SGD, max_epochs=100, callbacks=[EarlyStopping(patience=5)], ) from skorch.utils import to_device from functools import partial to_device(net, 'cuda') partial_train_loss = partial(train_loss, model=net.module_) partial_test_score = partial(test_score, model=net.module_) from skorch.utils import to_numpy train_loss_values, test_score_values = learning_curve( net, train_loader, train_sizes=np.linspace(0.1, 1.0, 5), scoring=partial_test_score, scoring_train=partial_train_loss, device='cuda', verbose=1, n_jobs=1 ) print('Train loss:', train_loss_values) print('Test score:', test_score_values) ``` 在这个例子中，我们定义了两个函数 `train_loss` 和 `test_score`。其中，`train_loss` 用于计算每一轮训练后的平均损失，`test_score` 用于评估模型在测试集上的准确率。我们通过 `partial` 函数将这两个函数转化为只需要传入数据集和模型对象的函数对象，并将它们作为 `scoring_train` 和 `scoring` 参数传给 `learning_curve` 函数。在 `learning_curve` 函数中，我们使用 `train_sizes` 参数来控制不同大小的训练集上的训练和评估，并使用 `n_jobs` 参数来并行计算。 最终，`learning_curve` 函数将返回训练集大小和对应的训练损失以及测试集大小和对应的评估指标，你可以将它们用于可视化学习曲线。
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值