庐山派K230软件开发第九篇—— 图像检测

给力的魔

已于 2024-12-08 20:37:26 修改

阅读量1.4k

点赞数 10

分类专栏：庐山派K230开发板文章标签：嵌入式硬件单片机 stm32 python 硬件工程

于 2024-12-08 20:36:05 首次发布

本文链接：https://blog.csdn.net/weixin_72451481/article/details/144331389

版权

庐山派K230开发板专栏收录该内容

15 篇文章

订阅专栏

核心处理能力

K230开发板的核心在于其高性能的RISC-V双核CPU以及内置的AI加速器(KPU)。这些硬件特性使得K230能够高效处理图像数据，执行复杂的图像识别算法，如物体检测、分类、分割等任务。尤其是AI加速器的存在，显著提升了图像处理的速度和效率，使其成为理想的目标检测平台。

图像处理框架

K230开发板支持多种图像处理框架，如YOLO（You Only Look Once）、Tiny-YOLO等流行的目标检测算法。这些框架可以在K230上实现快速的目标定位和分类，适用于需要实时反馈的应用场景，如智能安防、自动驾驶辅助系统等。

摄像头输入

K230开发板支持多路摄像头输入，可以同时处理多个视频流。其内置摄像头或通过接口连接的外置摄像头能够提供高质量的图像数据，以供后续处理。多摄像头的支持使得K230在多视角监控、立体视觉等应用中表现出色。

算法优化

由于K230开发板集成了专用的AI处理单元(KPU)，可以针对特定的图像处理任务进行算法优化。这意味着开发者可以利用硬件加速来提升图像处理算法的执行效率，同时降低功耗。

应用实例

智能安防：K230可以用于构建智能摄像头系统，实现实时入侵检测、异常行为识别等功能。
工业自动化：在生产线上，K230可以帮助完成产品质量检查、自动化分拣等任务。
健康监测：K230可用于开发面部识别或表情分析应用，帮助监测用户的健康状况。
智能家居：结合物联网技术，K230可用于智能家居系统，如智能门锁、智能照明控制等。

识别方法：边缘检测

边缘检测在图像处理中的作用不可小觑，它能够帮助我们从图像中提取出有用的结构信息，比如物体的轮廓、线条等，这对于后续的图像理解和分析至关重要。边缘检测的结果可以用来：

提取物体边界，以便进行形状分析。
作为特征点，用于物体识别和跟踪。
辅助三维重建，帮助理解场景的几何结构。
改善图像压缩的效果，通过减少冗余信息来提高压缩比。

常见的边缘检测算法

Sobel算子

Sobel算子是一种常用的边缘检测方法，通过计算图像的水平和垂直梯度来确定边缘的方向和强度。

Canny边缘检测

Canny边缘检测算法是一种多级边缘检测方法，它包括噪声去除、梯度计算、非极大值抑制以及双阈值检测等步骤，能够有效地提取出图像中的强边缘和弱边缘。

Prewitt算子

Prewitt算子与Sobel算子类似，也是通过计算梯度来检测边缘，但其计算的精度通常低于Sobel算子。

Laplacian算子

Laplacian算子主要用于检测图像中的零交叉点，以此来寻找边缘位置。然而，这种方法对噪声较为敏感。

边缘检测在K230开发板上的应用

K230开发板具备强大的图像处理能力，内置的AI加速器（KPU）可以加速边缘检测等图像处理任务。在K230上实现边缘检测，可以利用其高性能的计算资源来处理高分辨率图像，并实现实时的边缘检测功能。

实现步骤

图像获取：通过开发板自带的摄像头或外接摄像头获取图像。
预处理：对原始图像进行灰度转换、滤波等预处理步骤，以减少噪声的影响。
边缘检测算法：应用如Sobel、Canny等算法来检测图像中的边缘。
后处理：对检测到的边缘进行细化、连接等处理，得到最终的边缘图。
结果展示：在LCD屏幕上显示边缘检测的结果，或通过串口输出数据供进一步分析。

代码概览

导入模块：导入了必要的模块，如sys, time, os, gc等，以及media库中的sensor, display, media模块。
初始化摄像头：创建了一个摄像头对象，并设置其分辨率和像素格式。
初始化显示屏：初始化了显示屏，并选择了显示模式。
初始化媒体资源管理器：初始化了媒体资源管理器。
启动摄像头：启动了摄像头，使其开始捕获图像。
主循环：进入一个无限循环，捕获图像，并使用Canny边缘检测算法处理图像，然后显示图像，并打印帧率。

代码解析

初始化部分

sensor = Sensor(width=1280, height=960) #构建摄像头对象，将摄像头长宽设置为4:3
sensor.reset() #复位和初始化摄像头
sensor.set_framesize(width=320, height=240) #设置帧大小为LCD分辨率(320x240)，默认通道0
sensor.set_pixformat(Sensor.GRAYSCALE) #设置输出图像格式，默认通道0
Display.init(Display.ST7701, to_ide=True) #同时使用3.5寸mipi屏和IDE缓冲区显示图像，800x480分辨率
MediaManager.init() #初始化media资源管理器
sensor.run() #启动sensor

Sensor类用于创建摄像头对象，并设置初始分辨率。
reset()方法用于复位和初始化摄像头。
set_framesize方法用于设置摄像头捕获图像的帧大小。
set_pixformat方法用于设置摄像头输出图像的像素格式。
Display.init方法用于初始化显示屏，并选择显示模式。
MediaManager.init方法用于初始化媒体资源管理器。
sensor.run()方法用于启动摄像头，使其开始捕获图像。

主循环

os.exitpoint()用于检测是否有IDE中断。
clock.tick()用于更新时钟。
sensor.snapshot()用于获取摄像头的一帧图像。
img.find_edges方法用于应用Canny边缘检测算法处理图像。
Display.show_image方法用于显示处理后的图像。
print(clock.fps())用于打印当前的帧率。

异常处理

except KeyboardInterrupt as e:
    print("user stop: ", e)
except BaseException as e:
    print(f"Exception {e}")
finally:
    if isinstance(sensor, Sensor):
        sensor.stop()
    Display.deinit()
    os.exitpoint(os.EXITPOINT_ENABLE_SLEEP)
    time.sleep_ms(100)
    MediaManager.deinit()

KeyboardInterrupt用于处理用户中断。
BaseException用于捕获其他异常。
finally块确保即使发生异常，也会正确释放资源：
- sensor.stop()停止摄像头。
- Display.deinit()释放显示屏资源。
- os.exitpoint(os.EXITPOINT_ENABLE_SLEEP)允许系统进入休眠模式。
- time.sleep_ms(100)等待一段时间，确保系统稳定。
- MediaManager.deinit()释放媒体资源管理器占用的资源。

注意事项

内存管理：虽然代码中没有显式调用gc.collect()，但在循环中频繁地创建和销毁图像对象可能会导致内存碎片，因此定期进行垃圾回收是有益的。
异常处理：通过异常处理确保在任何情况下都能安全地关闭摄像头和显示屏，防止资源泄露。
性能优化：在实际应用中，可以根据需要调整Canny边缘检测的参数，以获得更好的边缘检测效果或更高的帧率。

代码总览：

import sys
import time
import os
import gc
from media.sensor import * #导入sensor模块，使用摄像头相关接口
from media.display import * #导入display模块，使用display相关接口
from media.media import * #导入media模块，使用meida相关接口

try:
    sensor = Sensor(width=1280, height=960) #构建摄像头对象，将摄像头长宽设置为4:3
    sensor.reset() #复位和初始化摄像头
    sensor.set_framesize(width=320, height=240) #设置帧大小为LCD分辨率(320x240)，默认通道0
    sensor.set_pixformat(Sensor.GRAYSCALE) #设置输出图像格式，默认通道0
    Display.init(Display.ST7701, to_ide=True) #同时使用3.5寸mipi屏和IDE缓冲区显示图像，800x480分辨率
    #Display.init(Display.VIRT, sensor.width(), sensor.height()) #只使用IDE缓冲区显示图像
    MediaManager.init() #初始化media资源管理器
    sensor.run() #启动sensor
    clock = time.clock()
    while True:
        os.exitpoint() #检测IDE中断
        ## 这里编写代码 ##
        clock.tick()
        img = sensor.snapshot() #拍摄一张图片
        #使用 Canny 边缘检测器
        img.find_edges(image.EDGE_CANNY, threshold=(50, 80))
        # 也可以使用简单快速边缘检测，效果一般，配置如下
        #img.find_edges(image.EDGE_SIMPLE, threshold=(100, 255))
        #Display.show_image(img) #显示图片
        #显示图片，仅用于LCD居中方式显示
        Display.show_image(img, x=round((800-sensor.width())/2),y=round((480-sensor.height())/2))
        print(clock.fps()) #打印帧率FPS

# IDE中断释放资源代码

except KeyboardInterrupt as e:
    print("user stop: ", e)
except BaseException as e:
    print(f"Exception {e}")
finally:
    # sensor stop run
    if isinstance(sensor, Sensor):
        sensor.stop()
    # deinit display
    Display.deinit()
    os.exitpoint(os.EXITPOINT_ENABLE_SLEEP)
    time.sleep_ms(100)
    # release media buffer
    MediaManager.deinit()