模型训练测试技巧记录

我是一个粗心的人，有时候会犯一些低级的错误。低级错误常常使人懊恼，我想通过养成好的习惯可以避免，逐渐改善因为低级错误的时间浪费。

1、写一个模型训练的bat文件，到训练模型的时候直接稍作路径修改就可以直接用了。

例如要训练一个lenet模型，我有4块显卡，我想试试不同的训练策略，那我分别run4个bat就可以。这个bat应该是包含lmdb或者leveldb数据格式的生成，mean的生成，以及最后的train。

2、模型的log分析。

caffe自带的工具：caffe-master/tools/extra/parse_log.sh caffe-master/tools/extra/extract_seconds.py和 caffe-master/tools/extra/plot_training_log.py.example。

具体的使用方法看这篇博客:https://www.zhihu.com/question/49521165/answer/127675889

怎样在windows下输出训练caffemodel的log日志并画出accuracy和loss曲线？

3、deploy的prototxt对应的层名一定要对训练模型的一致。

不然加载caffemodel时就会出错或者是某个层被ignore，参数没有复制而是随机化了，这样测试结果就会有很大的错误。我犯了一个这样的错误。

先写这么多，我再遇到问题时慢慢补充。