train loss与test loss结果分析

train loss与test loss结果分析

本文主要参考train loss与test loss结果分析

一、trian_loss与test_loss的趋势分析

train loss 不断下降，test loss不断下降，说明网络仍在学习;

train loss 不断下降，test loss趋于不变，说明网络过拟合;

train loss 趋于不变，test loss不断下降，说明数据集100%有问题;

train loss 趋于不变，test loss趋于不变，说明学习遇到瓶颈，需要减小学习率或批量数目;

train loss 不断上升，test loss不断上升，说明网络结构设计不当，训练超参数设置不当，数据集经过清洗等问题。

二、trian_loss与test_loss对比

trainloss与test loss大小大概多少

一个好的网络，二者的差距应该是很低的。但一般情况下因为网络不可避免地存在一定程度上的过拟合，所以肯定是train_loss低于test_lost，但如果低太多，就得考虑是过拟合的问题还是因为样本的特征空间不统一的问题。
  一般训练集不大时，最终训练的网络及容易过拟合，也就是说train-loss一定会收敛，但是test-loss不会收敛；  训练时的loss会低于test的loss大概1~2个数量级，通常是10倍左右。

三、完整的Loss神经网络训练

1. 深度学习与计算机视觉系列(8)_神经网络训练与注意点
2. Loss和神经网络训练

1. 梯度检验

2. 训练前检查

3. 训练中监控
   开始训练之后，我们可以通过监控一些指标来了解训练的状态。我们还记得有一些参数是我们认为敲定的，比如学习率，比如正则化系数。
   
   
   
   随着时间推进，训练集和验证集上的准确度都会上升，如果训练集上的准确度到达一定程度后，两者之间的差值比较大，那就要注意一下，可能是过拟合现象，如果差值不大，那说明模型状况良好。

4. 首层可视化

5. 模型融合和优化

四、Loss一直降不下来的原因

loss一直不下降的原因有很多，可以从头到尾滤一遍：
1）数据的输入是否正常，data和label是否一致。
2）网络架构的选择，一般是越深越好，也分数据集。 并且用不用在大数据集上pre-train的参数也很重要的
3）loss 对不对。
另外考虑模型学习能力：
另外值得一提的是，并不是说任何的数据源我用NN,CNN,LSTM都可以取得好的效果，被很多因素影响。一方面是模型的超参数的设定问题，包括模型的‘体积’大小，学习率等等。另一方面，数据的特征也很关键，数据的不平衡问题是我遇到的最头疼的问题，所以在做模型之前，对数据进行一些处理与分析也是很有必要的。

五、tesorflow小结

1 attempt to use uninitialized variable 。 没有初始化所有变量
2 setting an array element with a sequence。 矩阵的列没有对齐
3 训练模型 LOSS下降 准确率却在下降 很可能是loss目标函数写错
4 测试准确率为0 Test没有在跟Train一个sess对话里面

5 tensorbaoard 无法显示 存储路径不可有中文名；存储路径必须是’//‘而不是’/’；日志文件千万别放在桌面上

7 batchsize的问题：

中文翻译为批大小（批尺寸）。在深度学习中，一般采用SGD训练，即每次训练在训练集中取batchsize个样本训练；
iteration：中文翻译为迭代，1个iteration等于使用batchsize个样本训练一次；
一个迭代 = 一个正向通过+一个反向通过
epoch：迭代次数，1个epoch等于使用训练集中的全部样本训练一次；
一个epoch = 所有训练样本的一个正向传递和一个反向传递
举个例子，训练集有1000个样本，batchsize=10，那么：
训练完整个样本集需要：
100次iteration，1次epoch

其他参考

1. https://www.zhihu.com/question/38937343

2. https://blog.csdn.net/u010911921/article/details/71079367

原文地址：http://blog.csdn.net/u010911921/article/details/71079367
这段在使用caffe的时候遇到了两个问题都是在训练的过程中loss基本保持常数值，特此记录一下。