绘制loss和accuracy曲线_caffe

转自:denny402 http://www.cnblogs.com/denny402/p/5686067.html 

绘制loss和accuracy曲线_caffe

使用python接口来运行caffe程序,主要的原因是python非常容易可视化。所以不推荐大家在命令行下面运行python程序。如果非要在命令行下面运行,还不如直接用 c++算了。

推荐使用jupyter notebook,spyder等工具来运行python代码,这样才和它的可视化完美结合起来。

因为我是用anaconda来安装一系列python第三方库的,所以我使用的是spyder,与matlab界面类似的一款编辑器,在运行过程中,可以查看各变量的值,便于理解,如下图:

只要安装了anaconda,运行方式也非常方便,直接在终端输入spyder命令就可以了。

在caffe的训练过程中,我们如果想知道某个阶段的loss值和accuracy值,并用图表画出来,用python接口就对了。

复制代码
# -*- coding: utf-8 -*-
"""
Created on Tue Jul 19 16:22:22 2016

@author: root
"""

import matplotlib.pyplot as plt  
import caffe   
caffe.set_device(0)  
caffe.set_mode_gpu()   
# 使用SGDSolver,即随机梯度下降算法  
solver = caffe.SGDSolver('/home/xxx/mnist/solver.prototxt')  
  
# 等价于solver文件中的max_iter,即最大解算次数  
niter = 9380  
# 每隔100次收集一次数据  
display= 100  
  
# 每次测试进行100次解算,10000/100  
test_iter = 100  
# 每500次训练进行一次测试(100次解算),60000/64  
test_interval =938  
  
#初始化 
train_loss = zeros(ceil(niter * 1.0 / display))   
test_loss = zeros(ceil(niter * 1.0 / test_interval))  
test_acc = zeros(ceil(niter * 1.0 / test_interval))  
  
# iteration 0,不计入  
solver.step(1)  
  
# 辅助变量  
_train_loss = 0; _test_loss = 0; _accuracy = 0  
# 进行解算  
for it in range(niter):  
    # 进行一次解算  
    solver.step(1)  
    # 每迭代一次,训练batch_size张图片  
    _train_loss += solver.net.blobs['SoftmaxWithLoss1'].data  
    if it % display == 0:  
        # 计算平均train loss  
        train_loss[it // display] = _train_loss / display  
        _train_loss = 0  
  
    if it % test_interval == 0:  
        for test_it in range(test_iter):  
            # 进行一次测试  
            solver.test_nets[0].forward()  
            # 计算test loss  
            _test_loss += solver.test_nets[0].blobs['SoftmaxWithLoss1'].data  
            # 计算test accuracy  
            _accuracy += solver.test_nets[0].blobs['Accuracy1'].data  
        # 计算平均test loss  
        test_loss[it / test_interval] = _test_loss / test_iter  
        # 计算平均test accuracy  
        test_acc[it / test_interval] = _accuracy / test_iter  
        _test_loss = 0  
        _accuracy = 0  
  
# 绘制train loss、test loss和accuracy曲线  
print '\nplot the train loss and test accuracy\n'  
_, ax1 = plt.subplots()  
ax2 = ax1.twinx()  
  
# train loss -> 绿色  
ax1.plot(display * arange(len(train_loss)), train_loss, 'g')  
# test loss -> 黄色  
ax1.plot(test_interval * arange(len(test_loss)), test_loss, 'y')  
# test accuracy -> 红色  
ax2.plot(test_interval * arange(len(test_acc)), test_acc, 'r')  
  
ax1.set_xlabel('iteration')  
ax1.set_ylabel('loss')  
ax2.set_ylabel('accuracy')  
plt.show()  
        
复制代码

最后生成的图表在上图中已经显示出来了。


  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 需要使用Python中的matplotlib库来绘制lossaccuracy曲线。对于loss曲线,我们可以将每个epoch的训练集和测试集loss都统计出来,然后分别绘制成两条曲线,分别用蓝色和红色表示,x轴是epoch,y轴是loss。对于accuracy曲线,也是类似的,只不过y轴是accuracy。可以通过调整训练参数来改变曲线的形状和走向,可视化训练过程,帮助我们更好地了解模型的性能。 ### 回答2: plt是Python中常用的绘图库,可以绘制各种数据可视化图表。在深度学习中,我们通常会使用plt来绘制训练过程中的lossaccuracy曲线,以便更好地了解模型的训练效果。 在绘制lossaccuracy曲线之前,我们需要先准备好训练数据。通常,我们会在训练过程中记录每个epoch的lossaccuracy,并将其保存在一个列表中。以TensorFlow为例,代码如下: ``` import tensorflow as tf from matplotlib import pyplot as plt # 定义模型 model = tf.keras.Sequential([ # ... 模型架构 ... ]) # 编译模型 model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy']) # 定义训练数据集 train_images = ... train_labels = ... # 训练模型,并记录lossaccuracy history = model.fit(train_images, train_labels, epochs=10) # 绘制lossaccuracy曲线 plt.plot(history.history['loss'], label='Loss') plt.plot(history.history['acc'], label='Accuracy') plt.legend() plt.show() ``` 在上面的代码中,我们使用了TensorFlow中的Sequential模型,并编译模型,准备好训练数据集。接着,我们通过 `model.fit()` 函数来训练模型,并将每个epoch的lossaccuracy记录在 `history` 字典变量中。最后,我们使用plt来绘制lossaccuracy曲线,将loss曲线的数据传入 `plt.plot()` 函数的 `x` 参数中,将accuracy曲线的数据传入 `plt.plot()` 函数的 `y` 参数中,并使用 `plt.legend()` 函数来显示图例。 需要注意的是,plt只是一个绘图库,它并不会自动地为我们记录lossaccuracy。因此,在编写代码时,我们需要手动定义一个列表来记录这些数据,以便我们能够绘制出相应的曲线。此外,我们还可以使用plt来设置图的标题、轴标签、刻度、颜色等属性,以生成更加美观和易于理解的图表。 ### 回答3: 在深度学习模型的训练过程中,经常需要观察模型的性能曲线,例如loss曲线accuracy曲线,来判断模型的收敛情况以及过拟合现象的出现。Python中的matplotlib库中提供了方便的绘图函数,可以轻松实现这两种曲线的可视化。 首先,我们需要记录模型的训练过程中每个epoch的lossaccuracy值,可以通过Keras里的callbacks函数来实现。具体来说,在模型编译时,设置callbacks参数为一个列表,其中每个元素为一个回调函数。例如,我们可以通过设置ModelCheckpoint回调函数来保存每个epoch结束时的模型权重,也可以通过设置History回调函数来记录每个epoch的lossaccuracy。下面是一段示例代码: ``` from keras.callbacks import ModelCheckpoint, History # 定义ModelCheckpoint和History回调函数 checkpoint = ModelCheckpoint(filepath='my_model.h5', monitor='val_loss', save_best_only=True) history = History() # 模型编译时设置callbacks参数 model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy'], callbacks=[checkpoint, history]) # 训练模型 model.fit(x_train, y_train, validation_data=(x_test, y_test), epochs=50, batch_size=32) ``` 在训练完成后,我们可以通过History回调函数中保存的lossaccuracy值,绘制相应的曲线。下面是一段示例代码: ``` import matplotlib.pyplot as plt # 读取训练时保存的history字典 history_dict = history.history # 绘制loss曲线 loss_values = history_dict['loss'] val_loss_values = history_dict['val_loss'] epochs = range(1, len(loss_values) + 1) plt.plot(epochs, loss_values, 'bo', label='Training loss') plt.plot(epochs, val_loss_values, 'b', label='Validation loss') plt.title('Training and validation loss') plt.xlabel('Epochs') plt.ylabel('Loss') plt.legend() # 绘制accuracy曲线 acc_values = history_dict['acc'] val_acc_values = history_dict['val_acc'] plt.figure() plt.plot(epochs, acc_values, 'bo', label='Training acc') plt.plot(epochs, val_acc_values, 'b', label='Validation acc') plt.title('Training and validation accuracy') plt.xlabel('Epochs') plt.ylabel('Accuracy') plt.legend() plt.show() ``` 以上代码分别绘制loss曲线accuracy曲线,其中蓝色圆点表示训练集上的表现,蓝色线条表示测试集上的表现,通过比较两条曲线的趋势,可以大致判断模型的表现是否收敛,是否存在过拟合问题。此外,我们还可以通过修改plt函数的参数,定制曲线的颜色、线型、坐标轴标签等,满足不同的需求。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值