Canmv K210开发板案例——物体检测

学习目标：

• 在Canmv IDE环境下使用K210学习物体检测功能，将摄像头采集的画面进行分析出来，若画面符合模型中的物体类型则框出并显示物体类型名称

• 使用人脸检测模型以及yolo2网络算法，通过通用神经网络处理器KPU来进行目标检测

---

学习内容：

1、导入相关库，并初始化摄像头和LCD显示屏

import sensor, image, time, lcd
from maix import KPU


lcd.init()  # 初始化LCD显示屏
sensor.reset()  # 复位并初始化摄像头
sensor.set_pixformat(sensor.RGB565)  # 设置摄像头输出格式为 RGB565
sensor.set_framesize(sensor.QVGA) # 设置摄像头输出大小为 QVGA (320x240)
sensor.skip_frames(time = 1000) # 等待摄像头稳定
clock = time.clock() # 创建一个clock对象，用来计算帧率

---

2、新建物体类型名称变量obj_name，初始化KPU相关的参数，加载物体检测模型以及使用yolo2网络算法，kpu需要加载kmodel文件

#物体名称“飞机”、“自行车”、“鸟”、“船”等
obj_name = ("aeroplane", "bicycle", "bird", "boat", "bottle", "bus", "car", "cat", "chair", "cow", "diningtable", "dog", "horse", "motorbike", "person", "pottedplant", "sheep", "sofa", "train", "tvmonitor")

od_img = image.Image(size=(320,256)) #检测模型需要320*256图输入，这里初始化一个image
# 物体检测锚点；锚点参数与模型参数一致，同一个模型这个参数是固定的（即训练模型时确定了）
anchor = (1.3221, 1.73145, 3.19275, 4.00944, 5.05587, 8.09892, 9.47112, 4.84053, 11.2364, 10.0071)
kpu = KPU()#创建一个KPU类，用于物体检测

print("ready load model")
# 从文件系统中加载物体检测模型(也可以flash地址加载方式）,如 "/sd/xxx.kmodel"{(flash_offset, size)(偏移大小，模型大小)}
kpu.load_kmodel("/sd/KPU/voc20_object_detect/voc20_detect.kmodel")
# 为yolo2网络模型传入初始化参数， 只有使用yolo2时使用；锚点参数，anchor的锚点数，输入图像的宽，输入图像的高，模型需要的图的宽，模型需要的图的高，模型层宽，模型层高，概率阈值，box_iou门限，要分辨的目标类数量
kpu.init_yolo2(anchor, anchor_num=5, img_w=320, img_h=240, net_w=320 , net_h=256 ,layer_w=10 ,layer_h=8, threshold=0.7, nms_value=0.2, classes=20)

---

3、使用while循环将图像传入KPU循环进行计算，使用yolo2神经网络算法解算，终得到相似度最高的类型名称，框出物体并显示物体名称

while True:
    clock.tick() # 更新计算帧率的clock
    img = sensor.snapshot() # 拍照，获取一张图像
    od_img.draw_image(img, 0,0) # 将img图像写到od_img图像的坐标（0,0）位置处
    od_img.pix_to_ai() # 对rgb565的image生成ai运算需要的r8g8b8格式存储
    kpu.run_with_output(od_img)         # 对输入图像进行kpu运算
    dect = kpu.regionlayer_yolo2() # yolo2后处理
    fps = clock.fps() # 获取帧率
    if len(dect) > 0:
        print("dect:",dect)
        for l in dect :
            img.draw_rectangle(l[0],l[1],l[2],l[3], color=(0, 255, 0))  # 在图像上绘制一个矩形
            img.draw_string(l[0],l[1], obj_name[l[4]], color=(0, 255, 0), scale=1.5) #  绘制标签类别

    img.draw_string(0, 0, "%2.1ffps" %(fps), color=(0, 60, 128), scale=2.0) # 显示屏显示FPS
    lcd.display(img)

# 创建的kpu对象去初始化，释放模型内存
kpu.deinit()

---

实验分析：

Performing Object Detection:

---

Serial Terminal Printing:

等待摄像头稳定，在画面中检测到物体时，就会画矩形框住识别到的物体，并在串行终端打印出检测到的数据包括：物体目标框的左上角x，y坐标、目标框的宽w高h、类别序号、概率值（[0, 1]）

---

实验过程与总结：

实验过程：

• 在Canmv IDE中，通过导入必要的库，初始化了摄像头和LCD显示屏，为实时图像采集和展示结果做准备。定义了包含多个物体名称的元组obj_name，加载了预训练的物体检测模型至KPU，并设置了参数。利用while循环，实时获取图像并使用yolo2算法检测物体，解析输出确定物体类型，并在LCD上绘制边界框和显示名称。实验结果证明了系统在实时物体检测和识别方面的有效性。

总结：

• 本次实验在Canmv IDE环境下利用K210芯片成功实现了物体检测。通过环境搭建、设备初始化、模型加载、图像采集、检测处理到结果展示，我们采用yolo2算法并用KPU加速神经网络运算，实现了多物体的实时检测与识别。
• 结果验证了系统的有效性，但也突显了提升复杂场景鲁棒性的需求。未来将致力于模型优化、算法泛化及数据处理效率提升。此处检测人脸的阈值：threshold=0.7，如果需要检测人脸更加准确，可以适当调整阈值

完整代码展示：

# Yolo_face_detect - By: Jack - 周日 4月 21 2024

import sensor, image, time, lcd
from maix import KPU #导入Maix类的KPU模块


lcd.init()  # 初始化LCD显示屏
sensor.reset()  # 复位并初始化摄像头
sensor.set_pixformat(sensor.RGB565)  # 设置摄像头输出格式为 RGB565
sensor.set_framesize(sensor.QVGA) # 设置摄像头输出大小为 QVGA (320x240)
sensor.skip_frames(time = 1000) # 等待摄像头稳定
clock = time.clock() # 创建一个clock对象，用来计算帧率

od_img = image.Image(size=(320,256)) # 设置图像尺寸 人脸检测模型需要320*256图输入

# 人脸检测锚点；锚点参数与模型参数一致，同一个模型这个参数是固定的（即训练模型时确定了）
anchor = (0.893, 1.463, 0.245, 0.389, 1.55, 2.58, 0.375, 0.594, 3.099, 5.038, 0.057, 0.090, 0.567, 0.904, 0.101, 0.160, 0.159, 0.255)
kpu = KPU() #创建一个KPU类，用于人脸检测

# 从文件系统中加载人脸检测模型(也可以flash地址加载方式）,如 "/sd/xxx.kmodel"{(flash_offset, size)(偏移大小，模型大小)}
kpu.load_kmodel("/sd/KPU/yolo_face_detect/yolo_face_detect.kmodel")
# 为yolo2网络模型传入初始化参数， 只有使用yolo2时使用；锚点参数，anchor的锚点数，输入图像的宽，输入图像的高，模型需要的图的宽，模型需要的图的高，模型层宽，模型层高，概率阈值，box_iou门限，要分辨的目标类数量
kpu.init_yolo2(anchor, anchor_num=9, img_w=320, img_h=240, net_w=320, net_h=256, layer_w=10, layer_h=8, threshold=0.7, nms_value=0.3, classes=1)

while True:
    clock.tick() # 更新计算帧率的clock
    img = sensor.snapshot() # 拍照，获取一张图像
    a = od_img.draw_image(img, 0,0) # 将img图像写到od_img图像的坐标（0,0）位置处
    od_img.pix_to_ai()  # 对rgb565的image生成ai运算需要的r8g8b8格式存储
    kpu.run_with_output(od_img) # 对输入图像进行kpu运算
    dect = kpu.regionlayer_yolo2() # yolo2后处理
    fps = clock.fps()  # 获取帧率
    if len(dect) > 0:
        print("dect:",dect)
        for l in dect :
            # 在图像上绘制一个矩形。 传递l[0],l[1],l[2],l[3]
            a = img.draw_rectangle(l[0],l[1],l[2],l[3], color=(0, 255, 0))
    a = img.draw_string(0, 0, "%2.1ffps" %(fps), color=(0, 60, 128), scale=2.0) # 显示屏显示FP
    lcd.display(img)

# 创建的kpu对象去初始化，释放模型内存
kpu.deinit()