python文件输出log_Python 写入训练日志文件并控制台输出解析

1. 背景

在深度学习的任务中,通常需要比较长时间的训练,因此我们会选择离开电脑。笔者在跟踪模型表现,

观察模型accuracy 以及 loss 的时候,比较传统的方法是在控制台print输出或者直接使用tensorboard。

但如果是你需要远程观察模型表现,那一个时刻记录的log 文件就非常重要。

(如果你希望不在实验室,远程通过访问正在训练网络的服务器的Jupyter Notebook ,实时查看实验进度。请参考――远程连接服务器端Jupyter Notebook)

2. logging 函数

创建 .log 文件并将一些数据在控制台输出可以通过logging 函数实现。

废话不多,直接贴代码:一下函数可以在你想要保存日志文件的路径――output_dir下生成一个.log 文件,文件名以年.月.日.时.分命名,以免重复。

import logging

import time

import os

def log_creater(output_dir):

if not os.path.exists(output_dir):

os.makedirs(output_dir)

log_name = '{}.log'.format(time.strftime('%Y-%m-%d-%H-%M'))

final_log_file = os.path.join(output_dir,log_name)

# creat a log

log = logging.getLogger('train_log')

log.setLevel(logging.DEBUG)

# FileHandler

file = logging.FileHandler(final_log_file)

file.setLevel(logging.DEBUG)

# StreamHandler

stream = logging.StreamHandler()

stream.setLevel(logging.DEBUG)

# Formatter

formatter = logging.Formatter(

'[%(asctime)s][line: %(lineno)d] ==> %(message)s')

# setFormatter

file.setFormatter(formatter)

stream.setFormatter(formatter)

# addHandler

log.addHandler(file)

log.addHandler(stream)

log.info('creating {}'.format(final_log_file))

return log

3. 结果

保存后的日志文件差不多就是这样:

2019813104740030.jpg?2019713104840

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持谷谷点程序。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值