关于tensorflow之config--eval_config中metrics_set参数（学习笔记）

https://github.com/tensorflow/models/blob/master/research/object_detection/g3doc/evaluation_protocols.md

Tensorflow对象检测API目前支持三种评估协议，可以通过将metrics_set设置为相应的值在EvalConfig中进行配置。

默认的情况下，应该是1.1的eval方式，即不设置这个参数时，为1.1中的方式。

1.PASCAL VOC 2010 

    PASCAL VOC 2010对应着四个设置模型。

1.1 PASCAL VOC 2010 detection metric

in *.config file 可以这么设置

eval_config: {
  metrics_set: "pascal_voc_detection_metrics"
  num_examples: ***
}

 

这种模式下，主要以目标检测评估指标mAP作为度量标准。

1.2 Weighted PASCAL VOC detection metric

in *.config file 可以这么设置

eval_config: {
  metrics_set: "weighted_pascal_voc_detection_metrics"
  num_examples: ***
}

 

 也是计算mAP，但是受每个类出现的频率是有关的。

1.3 PASCAL VOC 2010 instance segmentation metric（分割任务）

in *.config file 可以这么设置

eval_config: {
  metrics_set: "pascal_voc_instance_segmentation_metrics"
  num_examples: ***
}

计算真实掩码与预测掩码的交并比吧。 

1.4 Weighted PASCAL VOC instance segmentation metric（分割任务）

in *.config file 可以这么设置

eval_config: {
  metrics_set: "weighted_pascal_voc_instance_segmentation_metrics"
  num_examples: ***
}

 同样是计算真实掩码与预测掩码的交并比，但是应该和每个类出现的频率有关吧。（欢迎讨论）

2. COCO

2.1 COCO detection metrics

in *.config file 可以这么设置

eval_config: {
  metrics_set: "coco_detection_metrics"
  num_examples: ***
}

COCO度量是用于对COCO比赛进行评分的官方检测度量，与Pascal VOC度量相似，但实现稍有不同，并报告其他统计信息，如IOU阈值为0.5，0.95的mAP，以及小、中、大对象的精度/召回统计信息 .

2.2 COCO mask metrics

in *.config file 可以这么设置

eval_config: {
  metrics_set: "coco_mask_metrics"
  num_examples: ***
}

3. Open Images V2 

这个完全没有用过，所以就不详写了。

3.1 Open Images V2 detection metric

in *.config file 可以这么设置

eval_config: {
  metrics_set: "oid_V2_detection_metrics"
  num_examples: ***
}

3.2 OID Challenge Object Detection Metric 

in *.config file 可以这么设置

eval_config: {
  metrics_set: "oid_challenge_detection_metrics"
  num_examples: ***
}

 

3.3 OID Challenge Visual Relationship Detection Metric

3.4 OID Challenge Instance Segmentation Metric

in *.config file 可以这么设置

eval_config: {
  metrics_set: "oid_challenge_segmentation_metrics"
  num_examples: ***
}

 

参考

1.Supported object detection evaluation protocols