mmdet tools 使用指南

MMDetection 是一个基于 PyTorch 的目标检测开源工具箱。它是 OpenMMLab 项目的一部分。
主分支代码目前支持 PyTorch 1.8 及其以上的版本。

使用前提

(1)mmdet使用手册地址

https://mmdetection.readthedocs.io/zh-cn/latest/user_guides/index.html#id2

(2)第一次运行前请先运行 pip install seaborn 安装必要依赖

pip install seaborn

日志分析

使用方法

python tools/analysis_tools/analyze_logs.py plot_curve [--keys ${KEYS}] [--eval-interval ${EVALUATION_INTERVAL}] [--title ${TITLE}] [--legend ${LEGEND}] [--backend ${BACKEND}] [--style ${STYLE}] [--out ${OUT_FILE}]

参数解释

• –keys ${KEYS}：要分析和绘制的曲线的键值列表。键值是数据记录中的一个字段，可以是训练损失、验证准确率等指标。
• –eval-interval $EVALUATIO{N}_{I}NTERVAL：评估间隔，用于确定在曲线图上显示的数据点的数量。${EVALUATION_INTERVAL}是一个整数，表示每隔多少个数据点进行评估和绘制。
• –title $TITLE：曲线图的标题。${TITLE}是一个字符串，用于设置曲线图的标题。
• –legend $LEGEND：曲线图的图例标签。${LEGEND}是一个字符串，用于设置曲线图的图例标签。
• –backend $BACKEND：绘图库的后端。${BACKEND}是一个字符串，用于指定绘图库的后端，例如matplotlib或plotly。
• –style $STYLE：曲线图的样式。${STYLE}是一个字符串，用于设置曲线图的样式，例如线条颜色、线型等。
• –out $OU{T}_{F}ILE：输出文件路径。${OUT_FILE}是一个字符串，用于设置曲线图的输出文件路径。

样例

（1）绘制分类损失曲线图

python tools/analysis_tools/analyze_logs.py plot_curve log.json --keys loss_cls --legend loss_cls --out out_path

（2）绘制分类损失、回归损失曲线图，保存图片为对应的 pdf 文件

python tools/analysis_tools/analyze_logs.py plot_curve log.json --keys loss_cls loss_bbox --legend loss_cls loss_bbox --out losses.pdf

注：–keys 这里的参数可以替换成log.json中的数据参数。
（3）在相同图像中比较两次运行结果的 bbox mAP

python tools/analysis_tools/analyze_logs.py plot_curve log1.json log2.json --keys bbox_mAP --legend run1 run2

注：注意json文件中bbox_mAP的名字,有可能是0_bbox_mAP等…
（4）计算平均训练速度

python tools/analysis_tools/analyze_logs.py cal_train_time log.json

python tools/analysis_tools/analyze_logs.py cal_train_time log.json --include-outliers

注：这里–include-outliers的作用是指定在计算训练迭代的平均时间时是否包含异常值。

结果分析

使用 tools/analysis_tools/analyze_results.py 可计算每个图像 mAP，随后根据真实标注框与预测框的比较结果，展示或保存最高与最低 top-k 得分的预测图像。

python tools/analysis_tools/analyze_results.py \
      ${CONFIG} \
      ${PREDICTION_PATH} \
      ${SHOW_DIR} \
      [--show] \
      [--wait-time ${WAIT_TIME}] \
      [--topk ${TOPK}] \
      [--show-score-thr ${SHOW_SCORE_THR}] \
      [--cfg-options ${CFG_OPTIONS}]

参数解释

• config: model config 文件的路径。
• prediction_path: 使用 tools/test.py 输出的 pickle 格式结果文件。
• show_dir: 绘制真实标注框与预测框的图像存放目录。
• –show：决定是否展示绘制 box 后的图片，默认值为 False。
• –wait-time: show 时间的间隔，若为 0 表示持续显示。
• –topk: 根据最高或最低 topk 概率排序保存的图片数量，若不指定，默认设置为 20。
• –show-score-thr: 能够展示的概率阈值，默认为 0。
• –cfg-options: 如果指定，可根据指定键值对覆盖更新配置文件的对应选项。

注：这里要使用的是test.py 输出的 pickle 格式结果文件。

test.py获取pickle 格式样例

python tools/test.py example_faster_rcnn_export.py latest.pth --eval bbox --out out.pkl

python tools/test.py example_faster_rcnn_export.py latest.pth --out out.pkl

注：可以选择评估方式 --eval ，对于 COCO 数据集，可选 bbox 、segm、proposal ；对于 VOC 数据集，可选 map、recall也可以选择 --out ，指定测试结果的 pkl 输出文件。
注：可以根据上面 --out 保存的结果 pkl 文件计算指标，而无需重新跑。

python tools/analysis_tools/eval_metric.py example_faster_rcnn_export.py out.pkl --eval bbox

tools/analysis_tools/analyze_results.py可以将模型的预测结果框画出来进行可视化，其中第二个参数是上面 --out 保存的结果 pkl 文件，第三个是参数是结果保存到的目录，可以通过 --show-score-thr 来指定可视化框的阈值。

样例

（1）计算每个图像 mAP，随后根据真实标注框与预测框的比较结果，展示或保存最高与最低 top-k 得分的预测图像

python tools/analysis_tools/analyze_results.py example_faster_rcnn_export.py out.pkl out/ --show

（2）测试 Faster R-CNN 并指定 top-k 参数为 50，保存结果图片

python tools/analysis_tools/analyze_results.py example_faster_rcnn_export.py out.pkl out/ --topk 50

（3）滤低概率的预测结果，指定 show-score-thr 参数

python tools/analysis_tools/analyze_results.py example_faster_rcnn_export.py out.pkl out/ --show-score-thr 0.3

可视化数据集

使用方法

python tools/analysis_tools/browse_dataset.py ${CONFIG} [-h] [--skip-type ${SKIP_TYPE[SKIP_TYPE...]}] [--output-dir ${OUTPUT_DIR}] [--not-show] [--show-interval ${SHOW_INTERVAL}]

样例

python tools/misc/browse_dataset.py example_faster_rcnn_export.py --output-dir out/

误差分析

＞首先使用以下命令得到 bbox 或 segmentation 的 json 格式文件。

python tools/test.py --format-only  --eval-options "jsonfile_prefix=out/out_resul"

样例

（1）得到每一类的 COCO bbox 误差结果，并保存分析结果图像至指定目录

python tools/analysis_tools/coco_error_analysis.py results.bbox.json out/ --ann=via_export_coco_int.json 

混淆矩阵

＞混淆矩阵是对检测结果的概览。 tools/analysis_tools/confusion_matrix.py 可对预测结果进行分析，绘制成混淆矩阵表。 首先，运行 tools/test.py 保存 .pkl 预测结果，之后再运行。

使用方法

python tools/analysis_tools/confusion_matrix.py ${CONFIG}  ${DETECTION_RESULTS}  ${SAVE_DIR} --show

样例

python tools/analysis_tools/confusion_matrix.py example_faster_rcnn_export.py  faster_rcnn_fpn_coco.pkl --output-dir out/

打印全部 config

＞tools/misc/print_config.py 可将所有配置继承关系展开，完全打印相应的配置文件。

使用方法

python tools/misc/print_config.py ${CONFIG} [-h] [--options ${OPTIONS [OPTIONS...]}]

样例

python tools/misc/print_config.py example_faster_rcnn.py