faster_rcnn_end2end.sh
文件是位于./experiments/scripts/faster_rcnn_end2end.sh
目录下的脚本文件,用于Faster RCNN
的end2end
方式训练;
采用了端到端(end2end
的方式训练,shell命令:./experiments/scripts/faster_rcnn_end2end.sh 0 VGG16 pascal_voc
,其中,指定了gpu编号,网络名称,数据集名称三个参数;
#!/bin/bash
# Usage:
# ./experiments/scripts/faster_rcnn_end2end.sh GPU NET DATASET [options args to {train,test}_net.py]
# DATASET is either pascal_voc or coco.
#
# Example:
# ./experiments/scripts/faster_rcnn_end2end.sh 0 VGG_CNN_M_1024 pascal_voc \
# --set EXP_DIR foobar RNG_SEED 42 TRAIN.SCALES "[400, 500, 600, 700]"
#
set -x #将后面执行的命令输出到屏幕,便于调试;
set -e #如果命令返回值不是0则退出shell;
export PYTHONUNBUFFERED="True" #和缓存有关系的一个变量,使得按顺序输出
#读取输入的GPU编号 网络名称 数据集三个参数
GPU_ID=$1
NET=$2
NET_lc=${NET,,}
DATASET=$3
#GPU_ID=0
#NET=ZF
#NET_lc=${NET,,}
#DATASET=pascal_voc
#大意是获取剩下的参数,放在EXTRA_ARGS变量中
array=( $@ )
len=${#array[@]}
EXTRA_ARGS=${array[@]:3:$len}
EXTRA_ARGS_SLUG=${EXTRA_ARGS// /_}
#根据参数DATASET进入对应的条件分支:只有pascal_voc, coco两种数据集类型,否则报错
case $DATASET in
pascal_voc)
TRAIN_IMDB="voc_2007_trainval" #训练数据集名称
TEST_IMDB="voc_2007_test" #测试数据集名称
PT_DIR="pascal_voc"
# ITERS=70000 #设定的训练迭代次数
# ITERS=50000
ITERS=2000
;;
coco)
# This is a very long and slow training schedule
# You can probably use fewer iterations and reduce the
# time to the LR drop (set in the solver to 350,000 iterations).
TRAIN_IMDB="coco_2014_train"
TEST_IMDB="coco_2014_minival"
PT_DIR="coco"
ITERS=490000
;;
*)
echo "No dataset given"
exit
;;
esac
#将训练过程中的输出记录到txt文本,log日志中
#`date +'%Y-%m-%d_%H-%M-%S'`获取日期:Year month day Hour Minute Second
LOG="experiments/logs/faster_rcnn_end2end_${NET}_${EXTRA_ARGS_SLUG}.txt.`date +'%Y-%m-%d_%H-%M-%S'`" #日志存储路径
exec &> >(tee -a "$LOG")
echo Logging output to "$LOG"
#调用对应的python脚本执行训练和测试
time ./tools/train_net.py --gpu ${GPU_ID} \
--solver models/${PT_DIR}/${NET}/faster_rcnn_end2end/solver.prototxt \
--weights data/imagenet_models/${NET}.v2.caffemodel \
--imdb ${TRAIN_IMDB} \
--iters ${ITERS} \
--cfg experiments/cfgs/faster_rcnn_end2end.yml \
${EXTRA_ARGS}
set +x #关闭脚本中训练部分输出,此后shell上的输出为上面训练时代码中的打印输出
# 在log日志中查找与"done solving"匹配字段所在的行 的上一行;
NET_FINAL=`grep -B 1 "done solving" ${LOG} | grep "Wrote snapshot" | awk '{print $4}'`
#grep awk '{print $1}':去除第一个空格之后的所有数据
#grep awk '{print $4}':找到需要的行之后,去除第四个空格之后的所有数据,这句应该是为了去除log日志里那一行中 caffe模型路径 后面多余的东西
set -x #开始测试部分的shell输出
#对训练后的网络进行测试,可得到参数AP
time ./tools/test_net.py --gpu ${GPU_ID} \
--def models/${PT_DIR}/${NET}/faster_rcnn_end2end/test.prototxt \
--net ${NET_FINAL} \
--imdb ${TEST_IMDB} \
--cfg experiments/cfgs/faster_rcnn_end2end.yml \
${EXTRA_ARGS}
若训练直接使用python脚本,跳过此sh文件,则在shell中输入:
- 使用端到端的训练方式:
./tools/train_net.py --gpu 0 --solver models/pascal_voc/VGG16/faster_rcnn_end2end/solver.prototxt --weights data/imagenet_models/VGG16.v2.caffemodel --imdb voc_2007_trainval --iters 2000 --cfg experiments/cfgs/faster_rcnn_end2end.yml
- 使用交替联合训练方式:
`./tools/train_faster_rcnn_alt_opt.py --gpu 0 --net_name ZF --weights data/imagenet_models/ZF.v2.caffemodel --imdb voc_2007_trainval --cfg experiments/cfgs/faster_rcnn_alt_opt.yml`