使用VideoPipe视频分析框架做口算检查

口算检查（或类似“作业帮”APP中数学题目批阅的功能）需要用到OCR文字识别技术、表达式解析等技术。VideoPipe视频分析框架能够胜任99%的视频结构化需求，覆盖了OCR文字识别、人脸识别、目标行为分析、车辆检索等等应用场景。VideoPipe完全开源（仅供学习），github地址（github.com/sherlockchou86/video_pipe_c）

下面介绍VideoPipe框架实现“口算检查”的功能。

口算检查主要环节

1. OCR文字识别
2. 表达式解析和计算（等号左边计算结果）
3. 等式是否成立判断

其中各个环节都有可能导致整个检查失败：OCR识别错误、表达式不成立（比如括号不是成对出现）、计算错误（左边结果不等于右边）。

口算检查具体实现

VideoPipe视频分析框架可以快速集成目标检测、图像分类、特征提取等神经网路图像算法，支持多种视频（图片）接入方式，下面代码读取指定目录下的视频文件，对视频中的数学表达式进行检测、识别和解析检查等操作，最后将检查数据发送给后端（使用vp_text_socket_broker_node），后端数据库插入一条“口算检查记录”（该部分代码未展示）。

#include "../../nodes/vp_image_src_node.h"
#include "../../nodes/infers/vp_ppocr_text_detector_node.h"
#include "../../nodes/proc/vp_expr_check_node.h"
#include "../../nodes/osd/vp_expr_osd_node.h"
#include "../../nodes/vp_screen_des_node.h"
#include "../../nodes/vp_rtmp_des_node.h"
#include "../../utils/analysis_board/vp_analysis_board.h"

/*
* ## math_expression_check_pipeline ##
* detect math expressions first, then parse and calculate, send results(yes or no)  via socket.
*/

int main(int argc, char* argv[]) {
    // get directory for test video and models
    assert(argc == 2);
    std::string data_dir(argv[1]);
    if (!vp_utils::ends_with(data_dir, "/")) {
        data_dir += "/";
    }

    VP_SET_LOG_LEVEL(vp_utils::vp_log_level::INFO);
    VP_LOGGER_INIT();

    // create nodes
    //auto file_src_0 = std::make_shared<vp_nodes::vp_file_src_node>("file_src_0", 0, "./vp_data/test_video/ocr.mp4", 0.4);
    auto image_src_0 = std::make_shared<vp_nodes::vp_image_src_node>("image_src_0", 0, data_dir + "vp_data/test_images/text/math/%d.jpg", 3);
    auto ppocr_text_detector = std::make_shared<vp_nodes::vp_ppocr_text_detector_node>("ppocr_text_detector", data_dir + "vp_data/models/text/ppocr/ch_PP-OCRv3_det_infer", data_dir + "vp_data/models/text/ppocr/ch_ppocr_mobile_v2.0_cls_infer", data_dir + "vp_data/models/text/ppocr/ch_PP-OCRv3_rec_infer", data_dir + "vp_data/models/text/ppocr/ppocr_keys_v1.txt");
    auto expr_checker = std::make_shared<vp_nodes::vp_expr_check_node>("expr_checker");
    auto osd = std::make_shared<vp_nodes::vp_expr_osd_node>("osd", data_dir + "vp_data/font/NotoSansCJKsc-Medium.otf");
    auto screen_des_0 = std::make_shared<vp_nodes::vp_screen_des_node>("screen_des_0", 0);
    auto rtmp_des_0 = std::make_shared<vp_nodes::vp_rtmp_des_node>("rtmp_des_0", 0, "rtmp://192.168.77.60/live/math_review");

    // construct pipeline
    ppocr_text_detector->attach_to({image_src_0});
    expr_checker->attach_to({ppocr_text_detector});
    osd->attach_to({expr_checker});
    screen_des_0->attach_to({osd});
    rtmp_des_0->attach_to({osd});

    // start pipeline
    image_src_0->start();

    // visualize pipeline for debug
    vp_utils::vp_analysis_board board({image_src_0});
    board.display();
}