学习 Linux 下使用 caffe 进行模型训练(三)

前言

不管是训练过程中,查看网络学习的状态,还是训练结束后,使用模型去执行特定任务,都需要一个可被观察的输出呈现在研究者面前,最好是可视化的图形而非冰冷的数字。因此,本次讲的是通过 caffe 自带的工具(scripts)进行日志的可视化分析与目标检测结果的输出。

前期准备

一、日志可视化

首先要保证之前训练时,在最后增加了 tee logDir/logName.log ,这样才能得到可供分析的日志 (.log)文件(我的日志文件名为 molo-train-2019-03-11-09-50.log)。
然后要保证 caffe_rootdir/tools/extra/ 下存在 parse_log.shextract_seconds.pyplot_training_log.py.example

二、目标检测可视化

本次使用的模型检测脚本也来自 MobileNet-YOLO,通过对其中的 ./examples/ssd/ 中 ssd_detec.py 进行修改,达到调用模型进行目标检测的目的。

操作流程

一、日志可视化

  1. 将 parse_log.sh、extract_seconds.py 和 plot_training_log.py.example 三个文件和 .log 文件放置在同一文件夹下,运行 parse_log.sh 脚本:
    . parse_log.sh molo-train-2019-03-11-09-50.log
    
    即可在当前目录下生成 molo-train-2019-03-11-09-50.log.train 和 molo-train-2019-03-11-09-50.log.test 两个文件,内容如下图所示
    train
  2. 将 plot_training_log.py.example 改为 plot_training_log.py,其他的不需要多做修改(因为我在无UI界面的系统进行操作,所以仅仅注释了 plt.show())。然后运行:
    python plot_training_log.py 6 out.png molo-train-2019-03-11-09-50.log
    
    即可得到 out.png 如下。
    loss-iters
  3. 其中,命令中间的 6 代表要输出的曲线类型,比如 “0” 代表 “验证集正确率-迭代次数”,具体的参数如下:

    0: Test accuracy vs. Iters
    1: Test accuracy vs. Seconds
    2: Test loss vs. Iters
    3: Test loss vs. Seconds
    4: Train learning rate vs. Iters
    5: Train learning rate vs. Seconds
    6: Train loss vs. Iters
    7: Train loss vs. Seconds

二、模型调用可视化流程

对于 Mobile-yolo 的 ssd_detect.py 脚本,设定好 caffe 相关的参数后,输入要测试的图片,即可输出在该图片上绘制出 bounding box 的图片。下面简单介绍一下该脚本。

首先列出使用情况:

python ssd_detect.py \							# 执行检测脚本 
--gpu_id 0 \										# 选择要使用的 GPU 的编号
--labelmap_file labelmap_dir/labelmap.prototxt \	# 选择 labelmap,标注好要检测的类别
--model_def model_dir/deploy.prototxt \				# 用于检测的网络结构下面详细说
--model_weights weight_dir/iter_XXX.caffemodel \	# 训练得到的模型权重文件
--image_resize 608 \								# 和 deploy.prototxt 对应
--image_file test_img_dir/img.JPG					# 用于测试的图片

为了方便起见,比起这种方法,更推荐在脚本中增加一个待测图片文件的循环,将除了待测文件之外的参数确定后,可以执行一次脚本得到多张输出,效率更高一些。

该脚本的运行逻辑是:

  1. 利用所给的前 5 个参数对 caffe 进行初始化;
  2. 将 labelmap 转为 caffe 所使用的数据结构,其他的 caffe 会直接加载;
  3. 读入测试图片,根据输入的权重跑完整个网络,得到多组输出(和网络结构有关,包含阈值判断、NMS等操作);
  4. 把所有数据(4个坐标点、一个置信度、多个类别)中置信度高于阈值的部分取出,按照其坐标点在原图上绘制 bounding box,然后标注上得分最高的类别的分数,完成对所有网络检测出的目标的标注;
  5. 保存标注后的图片以便研发人员观察。

该脚本本身的使用相对简单,最难的部分已经被 caffe 承包了,可以说得上友好了~
由于训练的模型和最终的输出涉及到一点公司机密,这里不方便奉上,于是找了
Jesse_Mx 的博客 中的图片用于展示:
在这里插入图片描述
Ps:实在不喜欢用 PIL 库,我自己使用的时候改成 openCV 了,目的单纯是为了画框更漂亮……

deploy.prototxt 简介

在所有的和网络有关的 prototxt 文件中,除了 train、test 和 solver,还有一个 deploy,这个网络是在 test 文件的基础上进一步精简的,data 层不再需要设定 lmdb 等,只需改成如下部分:

layer {
  name: "data"
  type: "Input"
  top: "data"
  input_param {
    shape {
      dim: 1
      dim: 3
      dim: 608
      dim: 608
    }
  }
}

代表输入图维度为 608×608×3(这也是为什么 ssd_detect.py 需要 resize 参数),其他的都和 test 网络相同。
事实上,deploy.prototxt 更应该看作 train.prototxt 删除训练所需要的部分后,余下的部分,这里展开又可以讲整整一篇,这里引用 不破楼兰终不还的博客,其讲解分析十分细致,十分推荐大家读一下,如果有时间我也自己进行一下整理,就不再这个实践相关更多一点的博客中过多陈述了。

后记

第一次使用 caffe 训练目标检测网络,不论是从损失的下降还是最终的检测效果,都有些不(mo)尽(ming)人(qi)意(miao)。但是俗话说的好,万事开头难,流程跑通之后,通过优化网络结构、筛选数据、调整训练参数等方法进行优化,一定能得到相当不错的检测效果的~

已标记关键词 清除标记
相关推荐
©️2020 CSDN 皮肤主题: 编程工作室 设计师:CSDN官方博客 返回首页