tensorflow线下训练SSD深度学习物体检测模型，C++线上调用模型进行识别定位（干货满满）

一、介绍

近两年来出现了许多优秀的分类、物体检测和分割模型，包括SSD，yolo，Mask RCNN，这些模型速度快，准确率高，被广泛应用于无人驾驶、人脸定位识别、工业缺陷检测中。工业领域，系统一般基于C/C++，而这些模型基本都都是基于python的，那么如何把python训练的模型集成到C++中呢？Opencv搭了一个很好的桥梁。opencv4.0可以支持调用Mask RCNN、Faster RCNN、SSD、YOLO等模型。这样我们可以通过线下训练好这些模型，通过opencv把模型集成到系统中。

二、opencv调用模型

关于opencv如何调用深度学习模型请参考前面两篇博文：

https://blog.csdn.net/qq_29462849/article/details/85272575
https://blog.csdn.net/qq_29462849/article/details/85262609

opencv做了一个很好的tensorflow接口，这个时候就不得不提tensorflow object detection api，里面集成了SSD、Faster RCNN、Mask RCNN等多种模型，opencv和其无缝对接。

关于tensorflow object detection api的安装和配置请参考：

https://blog.csdn.net/zong596568821xp/article/details/82015126
https://blog.csdn.net/chuquanchang1051/article/details/79804965

如果在windows下配置时，出现缺少vc++14，那么下载安装即可。windows下如果proto成功了，但是安装不上，没关系，直接把整个object_detection模块拿来用就好。

三、训练数据

由于object detection api训练时采用的是tfrecords文件，所以需要进行转换，对voc数据来说，需要把xml文件转换成csv文件，源代码如下：

import os
import glob
import pandas as pd
import xml.etree.ElementTree as ET


def xml_to_csv(path):
    xml_list = []
    for xml_file in glob.glob(path + '/*.xml'):
        tree = ET.parse(xml_file)
        root = tree.getroot()
        for member in root.findall('object'):
            value = (root.find('filename').text,
                     int(root.find('size')[0].text),
                     int(root.find('size')[1].text),
                     member[0].text,
                     int(member[4][0].text),
                     int(member[4][1].text),
                     int(member[4][2].text),
                     int(member[4][3].text)
                     )
            xml_list.append(value)
    column_name = ['filename', 'width', 'height', 'class', 'xmin', 'ymin', 'xmax', 'ymax']
    xml_df = pd.DataFrame(xml_list, columns=column_name)
    return xml_df


def main():
    image_path = os.path.join('./train_data/tank/test/', 'Annotations')
    xml_df = xml_to_csv(image_path)
    xml_df.to_csv('./train_data/tank/test/csv/test.csv', index=None)
    print('Successfully converted xml to csv.')


main()

当把xml文件转换成csv文件后，需要对csv文件进行转换，生成最终得tfrecords文件，转换代码如下所示：

"""
Usage:
  # From tensorflow/models/
  # Create train data:
  python generate_tfrecord.py --csv_input=data/train_labels.csv  --output_path=train.record

  # Create test data:
  python generate_tfrecord.py --csv_input=data/test_labels.csv  --output_path=test.record
"""
from __future__ import division
from __future__ import print_function
from __future__ import absolute_import

import os
import io
import pandas as pd
import tensorflow as tf
import sys
from PIL import Image

# sys.path.append("F:\setup\tf\models-master\research\object_detection")
from object_detection.utils import dataset_util
from collections import namedtuple, OrderedDict

flags = tf.app.flags
flags.DEFINE_string('csv_input', default='./train_data/tank/train/csv/train.csv',help='')
flags.DEFINE_string('output_path', default='./train_data/tank/train/tf_record/train.record',help='')
flags.DEFINE_string('image_dir', default='./train_data/tank/train/JPEGImages/',help='')
FLAGS = flags.FLAGS


# TO-DO replace this with label map
def class_text_to_int(row_label):
    if row_label == 'tank':
        return 1
    elif row_label ==