keras训练过程的保存

通过 TensorBoard 实现训练可视化

from datetime import datetime
TIMESTAMP = "{0:%Y-%m-%dT%H:%M:%S/}".format(datetime.now())
log_dir = './logs/' + TIMESTAMP # 可以区分不同的训练（只用时间意义不明确，可以思考优化）
tbCallBack = TensorBoard(log_dir=log_dir,  # log 目录
                 histogram_freq=0,  # 按照何等频率（epoch）来计算直方图，0为不计算
                 write_graph=True,  # 是否存储网络结构图
                 write_grads=True, # 是否可视化梯度直方图
                 write_images=True,# 是否可视化参数
                 embeddings_freq=0, 
                 embeddings_layer_names=None, 
                 embeddings_metadata=None)

model.fit(...inputs and parameters..., callbacks=[tbCallBack]) # 在回调函数中调用

tensorboard --logdir ./logs # 在终端输入

然后在浏览器中访问 http://localhost:6006

通过 nohup 命令输出到 log 文件中

nohup python *.py > *.log 2>&1 &

2>&1 解释：将标准错误 2 重定向到标准输出 &1 ，标准输出 &1 再被重定向输入到 log 文件中

参考链接

keras+TensorBoard 实现训练可视化

tensorboard 多个 events 文件显示紊乱的解决办法

Linux nohup 命令