【计算机视觉】基于YOLOv8的关键点检测的仪表盘读数方案详解

整体流程：

目录

1. 基于YOLOv5的仪表盘检测
2. 基于YOLOV8的表盘指针和刻度数标的目标检测和关键点检测
3. 基于Paddleocr的刻度OCR识别
4. 图片的透视变换
5. 读数计算

1. 基于YOLOv5的仪表盘检测

进行仪表盘读数的第一步是从图片中检测出仪表盘，是常见的目标检测问题。这里我选用YOLOv5算法解决该问题。官方网址：GitHub - ultralytics/yolov5: YOLOv5 🚀 in PyTorch > ONNX > CoreML > TFLite

2. 基于YOLOV8的表盘指针和刻度数标的目标检测和关键点检测

2.1 指标数据集的制作

我使用labelme进行yolov8数据集的制作。首先使用矩形框选指针的整体结构，然后使用控制点依次点选指标的尾部和头部。值得注意的是控制点的点选顺序应该保持一致。后续需要将labelme格式的标注文件转化成yolo格式。

2.2 刻度数标数据集的制作

2.3 模型训练

from ultralytics import YOLO
if __name__ == '__main__':
    model = YOLO('my_yolov8x-pose.yaml')
    # 训练模型
    results = model.train(data="my_data.yaml", epochs=100, imgsz=640, batch=4)
    # 模型验证
    model.val()

3. 基于Paddleocr的刻度OCR识别

3.1 使用Paddleocr的预训练模型

将上一步检测出的刻度数标进行OCR识别，这里我使用 [Paddleocr](yolov5_百度搜索 (github.com))，具体安装参考官方说明

import cv2
from paddleocr import PaddleOCR

ocr = PaddleOCR(use_angle_cls=True, lang="ch", ocr_version="PP-OCRv4")
result = ocr.ocr(img, cls=cls)

3.2 剔除错误的OCR结果，以及选定最符合的表盘刻度

在需要检测的图片中，压力表的种类有很多，有的刻度范围在0-1.6，有的刻度范围在0-1。我们需要明确具体检测的压力表的正确刻度属于是哪一种。下面是我例举的在我的数据集中出现的4种情况。

common_ocr_degrees = [
        {"1.6": 45, "1.2": -22.5, "0.8": -90, "0.4": -157.5, "0": -225}, # 表盘一
        {"1": 45, "0.8": -9, "0.6": -63, "0.4": -117, "0.2": -171, "0": -225}, # 表盘二
        {"0.6": 45, "0.5": 0, "0.4": -45, "0.3": -90, "0.2": -135, "0.1": -180, "0": -225}, # 表盘三
        {"2.5": 45, "2": -9, "1.5": -63, "1": -117, "0.5": -171, "0": -225} # 表盘四
    ]

以上是4种标准的压力表表盘的刻度分布。"1.6": 45 表示该表盘最大的刻度为1.6，极坐标的角度为45（以指针尾部关键点为原点，顺时针建立极坐标系）。可以看到，每种表盘的最大刻度都在图片的右下角45°，每种表盘的最小刻度0，都在图片的左下角45°。

将OCR检测的结果与标准刻度中的字符进行比较，只保留出现在标准刻度中的结果，并累计哪个表盘符合的刻度的数据最多，从而确定该表盘为最符合的表盘。

上图中错误检测出了MC这个框，需要去除。且正确检测出了0、0.8、1.2和1.6等4个刻度，与表盘一最为符合，从而确定该表盘为表盘一。

4. 图片透视变换

以指标尾部关键点为原点建立极坐标系，这里我假设每个仪表盘的最后一个刻度的角度为45°。

1、确定最后一个点的坐标：已知最后一个点在透视变换后的极坐标角度为45°，假设所有刻度点距离圆心距离为R，则最后一个点的坐标可以表示为（45°,R）可以根据该极坐标得出笛卡尔坐标系下的坐标。

2、确定其他三个点的坐标：这里一共有4个间隔平分整个270°量程，所以每个刻度夹角为270/4=67.5°，据此可以依次计算出其他三个点在变换后的坐标。

通过这种方式，可以确定四个刻度点在透视变换后图像中的坐标，并用这些坐标来进行透视变换。

使用opencv进行透视变换，具体使用了cv2.getPerspectiveTransform 函数，scr_point 是原始图片上的4点坐标，dst_point是变换后4点的坐标。

# 计算变换矩阵
M = cv2.getPerspectiveTransform(src_points, dst_points)
# 使用变换矩阵
frame_trans = cv2.warpPerspective(frame, M, (frame.shape[1], frame.shape[0]))

5. 读数计算

1. 找出指针头部关键点，以及在极坐标系中的角度θ，前后的刻度关键点的角度θ1、θ2，如上图所示指针位于数标 α 和 β 之间。
2. 读数 a 等于

$$a=\alpha +(\beta -\alpha )\times \left(\frac{\theta -{\theta }_1}{{\theta }_2-{\theta }_1}\right)$$

6. 算法优化

6.1 会有无法识别出刻度

如上图所示，只识别出了0.4这个刻度，而按照上面的读数算法需要要求指针位于两个刻度之间，然后根据夹角之间的比例进行计算。所以这种情况下，需要补全0刻度，让指针位于0-0.4之间。这里我默认指定0位于表盘中心右下方45°的位置。