Canmv K210开发板案例——AprilTag机器码识别

最新推荐文章于 2024-07-29 09:53:21 发布
最新推荐文章于 2024-07-29 09:53:21 发布
阅读量1.4k 收藏 20
点赞数 30
分类专栏： Canmv K210 文章标签： 计算机视觉 人工智能 物联网 python 图像处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45780647/article/details/137975519
版权
本文介绍了在CanmvIDE环境中，利用K210芯片学习如何通过AprilTag视觉系统识别机器码，包括定位、标记和打印相关信息，以及在实验中对不同分辨率和图像格式对识别性能的影响。
摘要由CSDN通过智能技术生成

学习目标：

在Canmv IDE环境下使用K210学习机器码识别功能，根据识别到的机器码，将机器码位置标记并框出来，打印机器码类别、序列号以及角度等相关数据

机器码：AprilTag

  • AprilTag是一个由密歇根大学APRIL Robotics Laboratory开发的视觉基准系统，广泛应用于增强现实(AR)、机器人导航、相机校正等领域。它通过识别特定的二维码标志来确定相机相对于标志的位姿，即使在远距离、低分辨率、不均匀照明或图像扭曲等不利条件下也能实现精确定位
  • AprilTag是一种视觉基准系统，专为机器人导航、增强现实和相机校准等应用设计。AprilTag支持多标签检测，可快速计算标签的三维位置和相机的相对姿态。它AprilTag的设计专注于编码简单的数字ID，而不是像二维码那样存储复杂的文本或数据信息，这使得AprilTag在有效载荷上更为精简。这种简化的编码方式有助于提高其在各种视觉干扰下的识别可靠性
  • 与二维码相比，AprilTag具有更强的环境适应性和图像识别鲁棒性。它们能够在更远的距离和更不理想的光照条件下被成功检测，包括在图像扭曲或失真的情况下，AprilTag的开源性质和跨平台兼容性使其在研究和工业领域得到广泛应用

学习内容：

1、导入相关库，并初始化摄像头和LCD显示屏

# Find_apriltags - By: Jack - 周四 4月 18 2024

import sensor, image, time, math, lcd

lcd.init()
sensor.reset()
sensor.set_pixformat(sensor.RGB565) #设置为彩色显示
#sensor.set_framesize(sensor.QQVGA)#160x120
sensor.set_framesize(sensor.QQCIF)  # 如果分辨率太高，内存可能会溢出，此处选择最小分辨率可以换取较高的FPS
sensor.set_windowing((64, 64))    #边长必须为8的倍数
sensor.skip_frames(time = 1000)  # 在更改设置后，跳过一些帧，等待感光元件变稳定
sensor.set_auto_gain(False)   # 关闭图像增益，以防止图像冲洗
sensor.set_auto_whitebal(False)  # 关闭图像白平衡，以防止图像冲洗
clock = time.clock()

2、设置要识别的机器码家族成员

# 注释可以禁用族、TAG36H11为默认族
tag_families = 0
tag_families |= image.TAG16H5
tag_families |= image.TAG25H7
tag_families |= image.TAG25H9
tag_families |= image.TAG36H10
tag_families |= image.TAG36H11
tag_families |= image.ARTOOLKIT

3、创建函数将家族名转化成字符串

def family_name(tag): #将家族名识别转换为字符串
    if(tag.family() == image.TAG16H5):
        return "TAG16H5"
    if(tag.family() == image.TAG25H7):
        return "TAG25H7"
    if(tag.family() == image.TAG25H9):
        return "TAG25H9"
    if(tag.family() == image.TAG36H10):
        return "TAG36H10"
    if(tag.family() == image.TAG36H11):
        return "TAG36H11"
    if(tag.family() == image.ARTOOLKIT):
        return "ARTOOLKIT"

4、使用while循环识别摄像头画面中的颜色，调用find_apriltags函数查找图像中的机器码，找到之后框出来并且打印相关信息

while(True):
    clock.tick()
    img = sensor.snapshot()

    #find_apriltags()显示的图像<64,000像素点
    #设置图像的大小
    #sensor.QQVGA: 160x120            sensor.QQVGA2: 128x160 (用于 lcd 扩展板)
    #sensor.HQVGA: 240x160            sensor.QVGA: 320x240
    #sensor.VGA: 640x480 (只用于OpenMV Cam M7 的灰度图处理图像，或者彩图采集图像)
    #sensor.QQCIF: 88x72              sensor.QCIF: 176x144
    #sensor.CIF: 352x288

    for tag in img.find_apriltags(families=tag_families):  # 遍历识别机器码家族
        img.draw_rectangle(tag.rect(), color = (255, 0, 0))  # 在tag.rect()获取到的ROI区域（坐标）上绘制一个矩形
        img.draw_cross(tag.cx(), tag.cy(), color = (0, 255, 0))  # ROI中心画十字
        print_args = (family_name(tag), tag.id(), (180 * tag.rotation()) / math.pi)
        print("Tag Family %s, Tag ID %d, rotation %f (degrees)" % print_args)  # 打印出获取到的机器码接码内容
    lcd.display(img)
    print(clock.fps()) # 打印帧率

如何获取机器码：

在Canmv IID软件中：工具栏--->机器视觉--->AprilTag生成器--->下载各家族的标签码

在这里插入图片描述
在这里插入图片描述

实验分析：

实时检测结果

在这里插入图片描述

实时识别出AprilTag机器码，获取机器码的的家族、标签数字信息、检测时机器码与摄像头的角度（摄像头顺时针方向为正）、FPS等数据

实验过程与总结：

实验过程：

  • 实验首先导入了必要的库以便于二维码识别。接着并配置了LCD显示屏以实时展示摄像头捕获的图像。设置要识别的机器码家族成员，接着创建函数将家族名转化成字符串，最后通过编写一个循环不断从摄像头读取图像数据，然后使用find_apriltags函数检测图像中的AprilTag机器码。
  • 一旦检测到二维码，使用draw_rectangle函数在LCD显示屏上绘制矩形框、使用draw_cross函数在ROI中心绘制十字以标记二维码的位置，并通过终端打印出解码后的二维码机器码信息

总结：

  • 在实验中做了对比实验（参考前面案例），灰度/彩色图像显示、显示窗口大小来提升FPS，实验结论如下：

    1 、find_apriltags（）函数要求显示的图像<64,000像素点、像素边长为8的倍数

    2、控制变量使用HQVGA、QQVGA、QQCIF三种分辨率将机器码铺满窗口分别获得的FPS平均值为4、 7、12，我们可以确定在一定范围内减少分辨率可以增大检测速度

    3、转换为灰度图像可以略微提升少量FPS，但是会丢失彩色信息（例如彩色框、中心十字标记等）

完整代码展示：

# Find_apriltags - By: Jack - 周四 4月 18 2024

import sensor, image, time, math, lcd

lcd.init()
sensor.reset()
sensor.set_pixformat(sensor.RGB565) #设置为彩色显示
#sensor.set_framesize(sensor.QQVGA)#160x120
sensor.set_framesize(sensor.QQCIF)  # 如果分辨率太高，内存可能会溢出，此处选择最小分辨率可以换取较高的FPS
sensor.set_windowing((64, 64))    #边长必须为8的倍数
sensor.skip_frames(time = 1000)  # 在更改设置后，跳过一些帧，等待感光元件变稳定
sensor.set_auto_gain(False)   # 关闭图像增益，以防止图像冲洗
sensor.set_auto_whitebal(False)  # 关闭图像白平衡，以防止图像冲洗
clock = time.clock()

# 注释可以禁用族、TAG36H11为默认族
tag_families = 0
tag_families |= image.TAG16H5
tag_families |= image.TAG25H7
tag_families |= image.TAG25H9
tag_families |= image.TAG36H10
tag_families |= image.TAG36H11
tag_families |= image.ARTOOLKIT


def family_name(tag): #将家族名识别转换为字符串
    if(tag.family() == image.TAG16H5):
        return "TAG16H5"
    if(tag.family() == image.TAG25H7):
        return "TAG25H7"
    if(tag.family() == image.TAG25H9):
        return "TAG25H9"
    if(tag.family() == image.TAG36H10):
        return "TAG36H10"
    if(tag.family() == image.TAG36H11):
        return "TAG36H11"
    if(tag.family() == image.ARTOOLKIT):
        return "ARTOOLKIT"

while(True):
    clock.tick()
    img = sensor.snapshot()

    #find_apriltags()显示的图像<64,000像素点
    #设置图像的大小
    #sensor.QQVGA: 160x120            sensor.QQVGA2: 128x160 (用于 lcd 扩展板)
    #sensor.HQVGA: 240x160            sensor.QVGA: 320x240
    #sensor.VGA: 640x480 (只用于OpenMV Cam M7 的灰度图处理图像，或者彩图采集图像)
    #sensor.QQCIF: 88x72              sensor.QCIF: 176x144
    #sensor.CIF: 352x288

    for tag in img.find_apriltags(families=tag_families):  # 遍历识别机器码家族
        img.draw_rectangle(tag.rect(), color = (255, 0, 0))  # 在tag.rect()获取到的ROI区域（坐标）上绘制一个矩形
        img.draw_cross(tag.cx(), tag.cy(), color = (0, 255, 0))  # ROI中心画十字
        print_args = (family_name(tag), tag.id(), (180 * tag.rotation()) / math.pi)
        print("Tag Family %s, Tag ID %d, rotation %f (degrees)" % print_args)  # 打印出获取到的机器码接码内容
    lcd.display(img)
    print(clock.fps()) # 打印帧率
Code-world-1
关注
  • 30
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
专栏目录
【STM32+K210项目】基于K210智能人脸识别+车牌识别系统（完整工程资料源码）
妄北y
08-05 4402
随着时代的进步和科技的迅猛发展，人们对居住安全的重视程度不断提升，对安全防范系统的需求也日益增强。在安防系统中，门禁系统占据着重要的位置。传统的门禁控制方式主要依靠钥匙、密码和门禁卡等，这些方式易于被破解和复制，安全性较低。然而，近年来，生物识别技术的迅速发展和成熟，为解决这一问题提供了新的方案。生物识别技术具备便携性、非易失性、不易遗忘以及难以盗用等优点，逐渐被引入到门禁系统中。传统的小区门禁系统往往依赖人工管理，存在一定的局限性，难以满足用户多样化的需求，也浪费了人力资源。
k210芯片 spieed_Sipeed Maix-GO K210开发板人脸识别快速上手指南
weixin_31734677的博客
01-17 2338
了解到Sipeed Maix系列的AI开发板是低成本AIoT硬件，我也从某宝入手了一个Maix-GO模块，从小白的入门级别，体验了一把智能硬件的人脸识别。官方的指南非常全面，但很多步骤需要自己找，折腾了一个下午，也遇到了不少坑，现在分享一下快速上手心得。Maix系列家族入手流程主要流程是MAIX GO硬件组装，安装MaixPyIDE，更新MaixPy固件，获取key gen机器码，下载人脸识别模型...
使用Apriltags实现定位、评估定位精度的全流程记录
热门推荐
进阶的乔木同学每天都在码代码
11-20 1万+
上周末做实验测试了Apriltags二维码的定位精度，现在将整体流程记录下来，便于后续参考与存档。 安装环境 系统：ubuntu 16.04 内核 4.15.0-43-generic ROS： kinetic 相机：intel realsense d435i 已安装相机驱动：librealsense 2.17.1 以及相机ROS Wrapper，相机能够正常工作 已编译VINS，并使用数据集成功运行。 https://blog.csdn.net/qq_41839222/article/deta
apriltag_20180522
05-21
源代码计算每个像素的梯度方向和大小，通过聚类将梯度大小方向相似的聚集到一起， 聚类的方法与Felzenszwalb基于图的图像分割方法类似，首先创建一个图，每个节点代表一个像素。如果相邻两个节点梯度方向差和边的权重相等，那么就增加这条边。然后讲这些边挑选出来，对边的权重进行递增处理：对于每条边，我们测试像素点属于的连通分支是否应该加入合并。（个人感觉比较像LSD直线检测） 这部分最为耗时，超过总运行时间的一般。通过一个的滤波器二次采样，能够在尽量保证图像信息不损失的情况下加快检测。
[星瞳科技]OpenMV图像处理的方法(六）：AprilTag标记跟踪
最新发布
SingTown_OpenMV的博客
07-29 737
Apriltag识别中，怎么定位/测距？输出的tx ty tz的单位是什么？怎么就得到实际的距离了？
Python实现Apriltag编码的二维码识别
2303_76895011的博客
12-02 2502
本文使用python进行apriltag编码格式二维码的识别。大致流程是先在图片里面定位并找到apriltag编码二维码的位置，然后使用一些图像处理的方法对其解码，最后将返回值等信息返回到窗口
K210视觉识别AprilTag码识别图形化Mixly Scratch编程齐护机器人AIstart视觉模块
fengydongdong的博客
11-24 234
AprilTag标记在机器视觉中显得比条形码、二维码更加有用，因为它能够通过AprilTag检测程序可以计算相对于相机的精确3D位置，方向和id；AprilTags是基准标记的一种形式，它在机器人技术中具有广泛的应用，包括对象跟踪，视觉定位，SLAM准确性评估和人机交互。齐护机器人AIstart视觉模块摄像头识别AprilTag码并显示识别结果在屏，并打印出来，也可以定义串口，把数数据传给别的单片机。上传程序，并识别如下AprilTag码，可看到结果上视频，分别打印数字0和数字3。AprilTag码识别。
V831——AprilTag标签识别
戚晨夕的博客
07-16 1990
AprilTag标记追踪是视觉很常用的一个标签，V831也具备这个功能。感觉加上一个jy-901陀螺仪，V831可以无限发挥他的功能。
OpenCV apriltag 识别
qq_44759447的博客
01-06 593
怕什么真理无穷,进一寸有一寸的欢喜 --- 胡适。
K210开发板学习笔记（一）——K210人脸识别门禁+SD卡实现人脸数据存储（附代码解读）
weixin_42708147的博客
02-21 6463
K210人脸识别门禁系统 一个按键实现所有功能。 具体功能: 在线人脸录入，在线人脸删除，考勤数据统计，人脸存储，断电信息不丢失，SD卡保存人脸数据库。重复人脸添加可识别。 基于此可扩展出很多功能。语音播报，蓝牙远程控制，体温检测等等
使用K210 开发板，轻松实现人脸检测（附代码）
m0_51953596的博客
05-06 8453
通过Python编程、K210开发板、OpenCV摄像头快速实现人脸检测，将摄像头拍摄到的画面中的人脸用矩形框表示出来
AprilTag 介绍
04-27
Abstract—Reliable and accurate camera calibration usually requires an expert intuition to reliably constrain all of the parameters in the camera model. Existing toolboxes ask users to capture images of a calibration target in positions of their choosing, after which the maximum-likelihood calibration is computed using all images in a batch optimization. We introduce a new interactive methodology that uses the current calibration state to suggest the position of the target in the next image and to verify that the final model parameters meet the accuracy requirements specified by the user.
april tag.pdf
07-17
april tag的标志和id号 AprilTag是一种视觉基准系统，适用于各种任务，包括增强现实，机器人和相机校准
AprilTag高清二维码矢量图（全）
08-05
含全部AprilTag高清二维码矢量图，PDF格式
K210获取机器码(详细流程)
m0_56283131的博客
04-18 2921
K210机器码的获取步骤
标志识别之AprilTag3
weixin_45834800的博客
09-26 685
粗看了下，主要做了几点优化：查找矩形前，通过一种新的二值化方法，直接在二值图上查找（这样带来的风险就是二值化失败，矩形形状被破坏，就无法检测到），在查找四边形时，在并查集搜索时提前截断，比起AprilTag2少了许多不必要的搜索。另外，在构建AprilTag3时和AprilTag2不同，在windows下构建需要自己配置windows下的pthread库，在Linux用gcc构建时，Tag.c文件中有许多大数组，gcc对这类数组编译非常非常慢。
获取K210机器码
qq_49782740的博客
07-14 435
参考b站一位up主教学视频： https://www.bilibili.com/video/av584042995/ 要用到的文件：
Windows10系统下Visual Studio 2017 使用VISP视觉库中的AprilTags进行实时姿态识别
qq_45060064的博客
09-27 1208
Windows10系统下Visual Studio 2017 使用VISP视觉库中的AprilTags进行实时姿态识别前言环境配置报错记录相关C++代码介绍代码参数说明运行结果运行速度 前言 多参考官方文档 遇到bug多求助Google，总有人遇到过同样的问题（都1202年了，学会科学上网搞科研、搞项目不用多说了吧。注意：外面的世界太复杂，不发表言论专注学习就好） 很多人喜欢用Python搞AprilTags，我也喜欢，但是Python的实时性没法跟C++比，所以还是要硬着头皮搞C++ 环境配置 Tut
AprilTag二维码检测和定位
bingda_robot的博客
11-21 6228
AprilTag类似于二维码QR codes（Quick Response Code；全称为快速响应矩阵图码）AprilTag可用于多种用途，包括相机标定、目标大小估计单目距离测量等。二维码可以直接用打印机打印在纸张上，不需要特殊材料。而AprilTag检测程序可以计算相对于相机的三维位置和二维码所承载的ID信息。AprilTag。
canmv k210识别交点坐标
08-04
CanMV K210是一款基于嘉楠科技边缘计算芯片K210和CanMV开源项目的开发板。它采用了一体化设计，集成了K210核心板、摄像头、LCD和其他外设，外观精美，即拿即用。[1] CanMV K210基于Micropython语法，兼容移植openmv...
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值