水表数字识别4:C/C++实现水表数字识别(含源码 可实时检测)

水表数字识别4:C/C++实现水表数字识别(含源码 可实时检测)

目录

水表数字识别4:C/C++实现水表数字识别(含源码 可实时检测)

1. 前言

2. 水表数字分割模型

(1) 将Pytorch模型转换ONNX模型

(2) 将ONNX模型转换为NCNN模型

3. 水表数字识别模型(PlateNet)

(1) 将Pytorch模型转换ONNX模型

(2) 将ONNX模型转换为NCNN模型

4. 水表数字识别C++端上部署

(1) 项目结构

(2) 配置开发环境(OpenCV+vulkan+base-utils+NCNN)

(3) 部署NCNN模型

(4)CMake配置

(5)main源码

(6)源码编译和运行

5.水表识别数字识别效果(C/C++版本)

6.水表识别数字识别效果(Android版本)

7. 项目源码下载


1. 前言

本项目将实现水表数字识别,整套方案采用二阶段方法实现,即首先使用文本(数字)检测模型DBNet定位水表数字的区域,然后进行校正并裁剪水表数字区域,再使用CRNN模型对水表数字的区域进行文本(数字)识别。

整套项目分为:数据集说明,DBNet文本(数字)检测模型训练、CRNN文本(数字)识别模型训练,以及水表数字识别边缘侧部署C++/Android等多个章节,本篇是项目《​​​​水表数字识别》系列文章之《C++实现水表数字识别》;为了方便后续模型工程化和Android平台部署,项目对文字检测模型和文字识别模型进行轻量化,并提供Python/C++/Android多个版本;

81b42e65673d462e82046d3710d7d25d.jpeg

整套水表数字检测和识别系统,在普通Android手机上可以达到实时的检测效果,CPU(4线程)约40ms左右,GPU约30ms左右 ,基本满足业务的性能需求。下表格给出CRNN,LPRNet和PlateNet模型的计算量和参数量以及其数字识别的准确率:

模型input-sizeparams(M)GFLOPsAccuracy
LPRNet94×240.48M0.147GFlops0.9000
CRNN160×328.35M1.06GFlops0.9150
PlateNet168×481.92M1.25GFlops0.9275

【尊重原创,转载请注明出处】https://blog.csdn.net/guyuealian/article/details/139998800


更多项目《水表数字识别》系列文章请参考:

b527ee87a91c45eabe73998618399a1d.jpeg      3817a4c55c4a4d1e803258393566bdee.gif


2. 水表数字分割模型

关于水表数字分割模型训练,请参考《水表数字识别2:Pytorch DBNet实现水表数字检测(含训练代码和数据集)

项目提供两个版本的水表数字分割模型DBNet和Fast-SCNN模型;DBNet属于高精度版本,参数量和计算量较大,检测精度较高,但比较耗时;Fast-SCNN模型属于轻量化版本,参数量和计算量较小,检测精度一般,速度较快,适合手机移动端部署。

下表格给出文本(数字)检测模型DBNet和Fast-SCNN的计算量和参数量,以及其预测结果的均方误差MSE:

模型input-sizeparams(M)GFLOPsMSEmIOU

DBNet

320×320

9722.27M

12.22M

0.1508

0.9333

Fast-SCNN

320×320

1.24M

939.01M

0.1997

0.9531

考虑到手机端比较弱鸡的性能,项目最终使用Fast-SCNN模型进行端上部署。水表数字分割模型在C++端上部署过程,请参考如下

(1) 将Pytorch模型转换ONNX模型

训练好Pytorch模型后,我们需要先将模型转换为ONNX模型,以便后续模型部署。

  • 原始项目提供转换脚本,你只需要修改model_file和config_file
    为你模型和配置文件路径即可
  • convert_torch_to_onnx.py实现将Pytorch模型转换ONNX模型的脚本
python libs/converter/convert_torch_to_onnx.py

(2) 将ONNX模型转换为NCNN模型

目前CNN模型有多种部署方式,可以采用NCNN、TNN、MNN以及TensorRT等部署工具,鄙人采用NCNN进行C++和Android端上部署:

NCNN转换工具:


3. 水表数字识别模型(PlateNet)

关于水表数字识别模型训练,请参考《水表数字识别3:Pytorch CRNN实现水表数字识别(含训练代码和数据集)

项目基于CRNN或LPRNet模型构建水表数字识别算法;为方便后续工程化,项目对CRNN模型进行魔改,提出一个PlateNet模型,用于支持部署到Android平台或者开发板上

整套水表数字识别系统,在OpenCL加速下,可以达到实时的检测效果,基本满足业务的性能需求。下表格给出CRNN,LPRNet和PlateNet模型的计算量和参数量以及其识别的准确率:

模型input-sizeparams(M)GFLOPsAccuracy
LPRNet94×240.48M0.147GFlops0.9000
CRNN160×328.35M1.06GFlops0.9150
PlateNet168×481.92M1.25GFlops0.9275

考虑到LPRNet和CRNN模型,存在某些OP算子,NCNN不支持,项目最终使用PlateNet模型进行端上部署。水表数字识别模型在C++端上部署过程,请参考如下

PlateNet识别模型在C++端上部署过程,请参考如下

(1) 将Pytorch模型转换ONNX模型

水表数字识别项目源码demo.py文件中参数--export设置为True,可将Pytorch的模型转换为ONNX模型文件,且ONNX文件会默认保存在Pytorch的模型文件同一目录下。

dc7ee7869ef44e68948db2bbf6a171b4.png

(2) 将ONNX模型转换为NCNN模型

NCNN转换工具,请参考:


4. 水表数字识别C++端上部署

(1) 项目结构

1774bb2a826844b18e3bb58c80249893.png

(2) 配置开发环境(OpenCV+vulkan+base-utils+NCNN)

项目仅在Ubuntu18.04进行测试,Windows系统下请自行配置和编译

  • 安装OpenCV:图像处理

图像处理(如读取图片,图像裁剪等)都需要使用OpenCV库进行处理

安装教程:Ubuntu18.04安装opencv和opencv_contrib

OpenCV库使用opencv-4.3.0版本,opencv_contrib库暂时未使用,可不安装

  • 安装vulkan:模型加速

 安装教程:Ubuntu18.04安装Vulkan SDK教程方法

vulkan用于模型GPU加速,若不使用vulkan进行模型推理加速,纯C++推理模型,速度会特别特别慢

  • base-utils:C++库

GitHub:https://github.com/PanJinquan/base-utils (无需安装,项目已经配置了)

base_utils是个人开发常用的C++库,集成了C/C++ OpenCV等常用的算法

  • NCNN:模型推理

GitHub:https://github.com/Tencent/ncnn (无需安装,项目已经配置了)

ncnn 是一个为手机端极致优化的高性能神经网络前向计算框架。 ncnn 从设计之初深刻考虑手机端的部署和使用。 无第三方依赖,跨平台,手机端 cpu 的速度快于目前所有已知的开源框架。 基于 ncnn,开发者能够将深度学习算法轻松移植到手机端高效执行, 开发出人工智能 APP,将 AI 带到你的指尖。 ncnn 目前已在腾讯多款应用中使用,如:QQ,Qzone,微信,天天 P 图等。

(3) 部署NCNN模型

项目实现了C/C++版本的水表数字识别,水表数字分割模型采用Fast-SCNN和水表数字识别模型采用PlateNet,模型推理采用NCNN部署框架(支持多线程CPU和GPU加速推理);图像处理采用OpenCV库,模型加速采用vulkan,在普通设备即可达到实时处理。

如果你想在这个 Demo部署你自己训练的水表数字分割模型Fast-SCNN和识别模型PlateNet,你可将训练好的Pytorch模型转换ONNX ,再转换成NCNN模型,然后把原始的模型替换成你自己的NCNN模型即可。

(4)CMake配置

这是CMakeLists.txt,其中主要配置OpenCV+vulkan+base-utils+NCNN这四个库,Windows系统下请自行配置和编译

cmake_minimum_required(VERSION 3.14.0)
project(Detector)

#set(CMAKE_BUILD_TYPE Debug)
add_compile_options(-fPIC) # fix Bug: can not be used when making a shared object
set(CMAKE_CXX_FLAGS "-Wall -std=c++11 -pthread")
#set(CMAKE_CXX_FLAGS_RELEASE "-O2 -DNDEBUG")
#set(CMAKE_CXX_FLAGS_DEBUG "-g")

if (NOT CMAKE_BUILD_TYPE)
    # -DCMAKE_BUILD_TYPE=Debug
    # -DCMAKE_BUILD_TYPE=Release
    message(STATUS "No build type selected, default to Release")
    set(CMAKE_BUILD_TYPE "Release" CACHE STRING "Build type (default Debug)" FORCE)
endif ()


# NCNN set
set(NCNN_OPENMP ON CACHE BOOL "" FORCE)
set(NCNN_VULKAN ON CACHE BOOL "" FORCE)
set(NCNN_BUILD_TOOLS OFF CACHE BOOL "" FORCE)
set(NCNN_COMPILER_SUPPORT_X86_AVX OFF CACHE BOOL "" FORCE)
set(NCNN_COMPILER_SUPPORT_X86_AVX2 OFF CACHE BOOL "" FORCE)
set(NCNN_AVX OFF CACHE BOOL "" FORCE)
set(NCNN_AVXVNNI OFF CACHE BOOL "" FORCE)
#set(NCNN_SHARED_LIB ON CACHE BOOL "" FORCE)
set(NCNN_THREADS ON CACHE BOOL "" FORCE)
set(NCNN_BF16 ON CACHE BOOL "" FORCE)
set(NCNN_DISABLE_RTTI OFF CACHE BOOL "" FORCE)


if (CMAKE_SYSTEM_NAME MATCHES "Android")
    add_definitions(-DDEBUG_ANDROID_ON)            # for Android Log
    add_definitions(-DPLATFORM_ANDROID)
elseif (CMAKE_SYSTEM_NAME MATCHES "Linux")
    add_definitions(-DDEBUG_ON)                    # for WIN/Linux Log
    add_definitions(-DDEBUG_LOG_ON)                # for WIN/Linux Log
    add_definitions(-DDEBUG_IMSHOW_OFF)            # for OpenCV show
    add_definitions(-DPLATFORM_LINUX)
elseif (CMAKE_SYSTEM_NAME MATCHES "Windows")
    add_definitions(-DDEBUG_ON)                    # for WIN/Linux Log
    add_definitions(-DDEBUG_LOG_ON)                # for WIN/Linux Log
    add_definitions(-DDEBUG_IMSHOW_OFF)            # for OpenCV show
    add_definitions(-DPLATFORM_WINDOWS)
endif ()
add_subdirectory(3rdparty/ncnn ncnn_build)
include_directories(3rdparty/ncnn/src)


# VULKAN set
set(VULKAN_SDK "3rdparty/vulkansdk/1.3.280.1/x86_64")


# opencv set
find_package(OpenCV REQUIRED)
include_directories(${OpenCV_INCLUDE_DIRS} ./src/)
#MESSAGE(STATUS "OpenCV_INCLUDE_DIRS = ${OpenCV_INCLUDE_DIRS}")

# base_utils
set(BASE_ROOT 3rdparty/base-utils) # 设置base-utils所在的根目录
add_subdirectory(${BASE_ROOT}/base_utils/ base_build) # 添加子目录到build中
include_directories(${BASE_ROOT}/base_utils/include)
include_directories(${BASE_ROOT}/base_utils/src)
MESSAGE(STATUS "BASE_ROOT = ${BASE_ROOT}")

# Detector
include_directories(src)
set(SRC_LIST
        src/Interpreter.cpp
        src/segment.cpp
        src/regress.cpp
        src/crnn.cpp
        )
add_library(dlcv SHARED ${SRC_LIST})
target_link_libraries(dlcv ncnn ${OpenCV_LIBS} base_utils)
MESSAGE(STATUS "DIR_SRCS = ${SRC_LIST}")

add_executable(Detector src/main_crnn.cpp)
target_link_libraries(Detector dlcv -lpthread)



(5)main源码

主程序中实现水表数字分割+水表数字识别,其中test_image_file()实现测试图片,test_video_file()实现测试视频文件,test_camera()实现测试摄像头

//
// Created by Pan on 2018/6/24.
//
#include <opencv2/opencv.hpp>
#include <opencv2/core.hpp>
#include <vector>
#include <string>
#include "crnn.h"
#include "Types.h"
#include "regress.h"
#include "file_utils.h"
#include "image_utils.h"

using namespace dl;
using namespace vision;
using namespace std;

int numThread = 8;
//DeviceType device = GPU; // 使用GPU运行,需要配置好vulkan
DeviceType device = CPU; // 使用CPU运行

string det_bin_file = "../data/model/watermeter/fast-scnn-reg-320.bin";
string det_pam_file = "../data/model/watermeter/fast-scnn-reg-320.param";

string rec_bin_file = "../data/model/watermeter/platenet-168-48.bin";
string rec_pam_file = "../data/model/watermeter/platenet-168-48.param";

// 设置检测阈值
RegressParam param = REG_MODEL320;
Regress *detector = new Regress(det_bin_file,
                                det_pam_file,
                                param,
                                numThread,
                                device);

CRNNRecognizeParam crnn_param = CRNN_MODEL;
CRNNRecognize *recognize = new CRNNRecognize(rec_bin_file,
                                             rec_pam_file,
                                             crnn_param,
                                             numThread,
                                             device);


/***
 * 测试已裁剪图片文件
 * @return
 */
int test_image_crops() {
    // 测试图片
    string image_dir = "../data/test_image/watermeter";
    vector<string> image_list = get_files_list(image_dir);
    for (string image_path:image_list) {
        cv::Mat bgr_image = cv::imread(image_path);
        if (bgr_image.empty()) continue;
        int w = bgr_image.cols;
        int h = bgr_image.rows;
        FrameInfo resultInfo;
        ObjectInfo info;
        info.x1 = 0;
        info.y1 = 0;
        info.x2 = w;
        info.y2 = h;
        info.score = 1.0;
        resultInfo.info.push_back(info);
        // 开始检测
        recognize->detect(bgr_image, &resultInfo);
        // 可视化代码
        recognize->visualizeResult(bgr_image, &resultInfo);
    }
    printf("FINISHED.\n");
    return 0;
}

/***
 * 测试图片文件
 * @return
 */
int test_image_file() {
    // 测试图片
    string image_dir = "../data/test_image/watermeter";
    vector<string> image_list = get_files_list(image_dir);
    for (string image_path:image_list) {
        cv::Mat frame = cv::imread(image_path);
        if (frame.empty()) continue;
        FrameInfo resultInfo;
        // 开始检测
        detector->detect(frame, &resultInfo);
        // 可视化代码
        // detector->visualizeResult(frame, &resultInfo, true, 5, true);
        // 开始识别
        recognize->detect(frame, &resultInfo);
        // 可视化代码
        recognize->visualizeResult(frame, &resultInfo, 0);
    }
    printf("FINISHED.\n");
    return 0;
}


/***
 * 测试视频文件
 * @return
 */
int test_video_file() {
    string video_file = "../data/video/test-video.mp4"; //视频文件
    cv::VideoCapture cap;
    bool ret = get_video_capture(video_file, cap);
    cv::Mat frame;
    while (ret) {
        cap >> frame;
        if (frame.empty()) break;
        FrameInfo resultInfo;
        // 开始检测
        detector->detect(frame, &resultInfo);
        // 可视化代码
        cv::Mat dst = detector->visualizeResult(frame, &resultInfo, true, 5, true);
        // 开始识别
        recognize->detect(frame, &resultInfo);
        // 可视化代码
        recognize->visualizeResult(dst, &resultInfo, 20);
    }
    cap.release();
    delete detector;
    detector = nullptr;
    printf("FINISHED.\n");
    return 0;
}


/***
 * 测试摄像头
 * @return
 */
int test_camera() {
    int camera = 0; //摄像头ID号(请修改成自己摄像头ID号)
    cv::VideoCapture cap;
    bool ret = get_video_capture(camera, cap);
    cv::Mat frame;
    while (ret) {
        cap >> frame;
        if (frame.empty()) break;
        FrameInfo resultInfo;
        // 开始检测
        detector->detect(frame, &resultInfo);
        // 可视化代码
        //cv::Mat dst = detector->visualizeResult(frame, &resultInfo, true, 5, true);
        // 开始识别
        recognize->detect(frame, &resultInfo);
        // 可视化代码
        recognize->visualizeResult(frame, &resultInfo, 20);
    }
    cap.release();
    delete detector;
    detector = nullptr;
    printf("FINISHED.\n");
    return 0;

}

int main() {
    test_image_file();
    test_video_file();
    //test_camera();
    return 0;
}

(6)源码编译和运行

编译脚本,或者直接:bash build.sh

#!/usr/bin/env bash
if [ ! -d "build/" ];then
  mkdir "build"
else
  echo "exist build"
fi
cd build
cmake ..
make -j4
sleep 1
./demo

  • 如果你要测试GPU运行的性能,请修改src/main_crnn.cpp 

DeviceType device = CPU;

6663feee11694be49ae49c91f83f7667.png

  • 如果你要测试GPU运行的性能,请修改src/main_crnn.cpp (需配置好vulkan) 

DeviceType device = GPU;

下面截图给出开启vulkan加速的性能对比截图,纯C++推理模式需要耗时几百毫秒的时间,而开启vulkan加速后,GPU模式耗时仅需十几毫秒,性能极大的提高。

388d38ac42ef48d5a46ad62deb889ce2.png


5.水表识别数字识别效果(C/C++版本)

 C++版本的opencv不支持中文显示,暂时未解决这个BUG,不过LOG会打印水表数字的信息,凑合的用吧

下图GIF这是Python版本的水表数字分割和识别效果,C++版本与Python版本的结果几乎是一致

 d474d18a06d84ba28c649b9a80062525.gif  dbfef9aa3a694075af0599e1ee69ee03.jpeg

20218d6367da4e74ade4ad43699d4ae5.jpeg


6.水表识别数字识别效果(Android版本)

项目已经完成Android版本水表数字检测分割和识别算法开发,APP在普通Android手机上可以达到实时的检测和识别效果,CPU(4线程)约40ms左右,GPU约30ms左右 ,基本满足业务的性能需求。详细说明请查看:水表数字识别5:Android实现水表数字识别(含源码 可实时检测)

Android Demo体验:https://download.csdn.net/download/guyuealian/89537381


7. 项目源码下载

如需下载项目源码,请WX关注【AI吃大瓜】,回复【水表数字识别】即可下载

项目资源内容包含:

  1. 提供Fast-SCNN水表数字分割模型
  2. 提供PlateNet水表数字识别模型,识别准确率可以达到0.9275左右
  3. 提供整套项目水表数字分割和识别C++项目源码
  4. C++ Demo源码支持二次开发
  5. C++ Demo支持透视变换倾斜矫正
  6. C++ Demo支持图片,视频和摄像头测试
  7. C++ Demo支持CPU和GPU,GPU模型加速需要配置好vulkan,否则速度很慢;CPU模式推理需要耗时几百毫秒的时间,而开启vulkan加速后,GPU模式耗时仅需十几毫秒

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI吃大瓜

尊重原创,感谢支持

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值