使用VideoPipe视频分析框架做车牌识别相机

车牌识别相机一般指带有AI算力的前智能摄像机，牌识算法直接运行在设备端（也就是常说的“边端云”中端侧）。常见用于牌识相机的硬件平台有海思、瑞芯微（RV11系列）、英伟达（Jetson系列）等，各平台都提供对应的深度学习模型硬件加速部署库。VideoPipe视频分析框架能够胜任99%的视频结构化需求，覆盖了人脸识别、目标行为分析、车辆检索等等应用场景。VideoPipe完全开源（仅供学习），github地址（github.com/sherlockchou86/video_pipe_c）

下面介绍VideoPipe框架在英伟达平台实现车牌识别（相机）的功能。

车牌识别主要环节

1. 从Sensor读取图片数据
2. 车牌检测定位
3. 车牌字符识别

与常见的视频分析流程不同的是，前智能相机设备直接从Sensor读取图片数据，因此不涉及到解码环节。第2步主要用于车牌定位（检测），部分牌识摄像机在该步骤还会做一些其他工作，比如车辆属性分类（车型、颜色等）。第3步主要负责车牌字符识别（使用分类和检测算法均可）。

车牌识别具体实现

VideoPipe视频分析框架可以快速集成目标检测、图像分类、特征提取等神经网路图像算法，支持多种视频（图片）接入方式，下面代码读取指定目录下的视频文件，对视频中的车牌进行检测、识别和跟踪等操作，最后将车牌结果数据发送给后端（使用vp_plate_socket_broker_node），后端数据库插入一条“车牌识别记录”（该部分代码未展示）。

#include "../../nodes/vp_file_src_node.h"
#include "../../nodes/infers/vp_trt_vehicle_plate_detector_v2.h"
#include "../../nodes/track/vp_sort_track_node.h"
#include "../../nodes/broker/vp_plate_socket_broker_node.h"
#include "../../nodes/osd/vp_plate_osd_node.h"
#include "../../nodes/vp_screen_des_node.h"
#include "../../nodes/vp_rtmp_des_node.h"
#include "../../utils/analysis_board/vp_analysis_board.h"

/*
* ## license plate recognize（lpr） pipeline ##
* detect and recognize license plate in the whole frame, and send results via socket.
*/

int main(int argc, char* argv[]) {
    // get directory for test video and models
    assert(argc == 2);
    std::string data_dir(argv[1]);
    if (!vp_utils::ends_with(data_dir, "/")) {
        data_dir += "/";
    }

    VP_SET_LOG_LEVEL(vp_utils::vp_log_level::INFO);
    VP_LOGGER_INIT();

    // create nodes
    auto file_src_0 = std::make_shared<vp_nodes::vp_file_src_node>("file_src_0", 0, data_dir + "vp_data/test_video/plate2.mp4");
    auto plate_detector = std::make_shared<vp_nodes::vp_trt_vehicle_plate_detector_v2>("plate_detector", data_dir + "vp_data/models/trt/plate/det_v8.5.trt", data_dir + "vp_data/models/trt/plate/rec_v8.5.trt");
    auto track =  std::make_shared<vp_nodes::vp_sort_track_node>("tracker");
    auto plate_broker = std::make_shared<vp_nodes::vp_plate_socket_broker_node>("plate_broker", "192.168.77.68", 9999, "static/plate_images");
    auto osd_0 = std::make_shared<vp_nodes::vp_plate_osd_node>("osd_0", data_dir + "vp_data/font/NotoSansCJKsc-Medium.otf", false);
    auto screen_des_0 = std::make_shared<vp_nodes::vp_screen_des_node>("screen_des_0", 0);
    auto rtmp_des_0 = std::make_shared<vp_nodes::vp_rtmp_des_node>("rtmp_des_0", 0, "rtmp://192.168.77.60/live/lpr");
    
    // construct pipeline 
    plate_detector->attach_to({file_src_0});
    track->attach_to({plate_detector});
    plate_broker->attach_to({track});
    osd_0->attach_to({plate_broker});
    screen_des_0->attach_to({osd_0});
    rtmp_des_0->attach_to({osd_0});

    // start pipeline
    file_src_0->start();

    // visualize pipeline for debug
    vp_utils::vp_analysis_board board({file_src_0});
    board.display();
}

上面代码运行后，可以产生3个输出，分别是：

1. Pipeline管道运行状态
2. 车牌检测实时效果（桌面窗口显示）
3. RTMP推流结果（Web播放器播放）

使用VideoPipe视频分析框架做车牌识别相机