cat_face_detection(AI开发框架esp-who)

最新推荐文章于 2024-06-27 10:45:26 发布
最新推荐文章于 2024-06-27 10:45:26 发布
阅读量1.5k 收藏 15
点赞数 1
分类专栏： ESP32学习笔记 文章标签： 人工智能 linux 服务器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45671732/article/details/126453592
版权

esp-who的环境搭建

本小节来讲述关于猫脸检测代码的烧录和讲解。首先你需要去搭建好esp-who的开发环境，esp-who的开发环境依赖于esp-idf v4.4的发行版。
第一步:
如果你是windows用户，你可以下载一个git版本管理工具去克隆以下的代码仓库。
如果你是linux或者是macos用户，你可以直接打开终端去克隆下面的仓库

git clone https://github.com/espressif/esp-who.git

git clone https://gitee.com/EspressifSystems/esp-gitee-tools.git

克隆好上面的这两个仓库后，进入到esp-who的目录:
请添加图片描述
在终端中运行以下命令:

bash /esp-gitee-tools-path/submodule-update.sh .

这个脚本会自动的拉取esp-who的外部组件。
至此，esp-who的环境就搭建完毕了。
打开克隆好的esp-who的目录，你会看到如下图所示:
请添加图片描述
components是esp-who的外部组件，default_bin是仓库自带的默认的二进制文件，docs是文档目录 examples是示例目录 img是图片目录，tools是工具目录。
下面我就示例目录里面的cat_face_detection部分讲解一下。

猫脸检测

在猫脸检测的示例里面又有3个子目录
请添加图片描述
分别是terminal LCD web，也就是将结果分别显示在终端，LCD 网页上面。
如下图所示是猫脸检测的示例支持的开发板。

请添加图片描述

terminal

首先我们可以用idf.py命令将示例代码跑起来,你可以使用以下的命令:

idf.py set-target esp32s3
idf.py build flash monitor

这个过程中会自动编译 下载到开发板的端口上，将摄像头对猫脸，进行识别，如下图所示:
请添加图片描述

你可以打开app_main.cpp文件去查看相应的代码

#include "who_camera.h"
#include "who_cat_face_detection.hpp"

static QueueHandle_t xQueueAIFrame = NULL;

extern "C" void app_main()
{
    xQueueAIFrame = xQueueCreate(2, sizeof(camera_fb_t *));

    register_camera(PIXFORMAT_RGB565, FRAMESIZE_240X240, 2, xQueueAIFrame);
    register_cat_face_detection(xQueueAIFrame, NULL, NULL, NULL, true);
}

下面就针对上面的这段代码进行讲解:
😀第一步:示例烧录到开发板后，摄像头开始工作，调用register_camera()的函数，将摄像头的获取的图片 一帧一帧的传输到作为帧的输出流的xQueueAIFrame队列缓冲区。
这个register_camera()函数具体是怎么用的呢？

    /**
     * @brief Initialize camera
     * 
     * @param pixformat    One of
     *                     - PIXFORMAT_RGB565
     *                     - PIXFORMAT_YUV422
     *                     - PIXFORMAT_GRAYSC
     *                     - PIXFORMAT_JPEG
     *                     - PIXFORMAT_RGB888
     *                     - PIXFORMAT_RAW
     *                     - PIXFORMAT_RGB444
     *                     - PIXFORMAT_RGB555
     * @param frame_size   One of
     *                     - FRAMESIZE_96X96,    // 96x96
     *                     - FRAMESIZE_QQVGA,    // 160x120
     *                     - FRAMESIZE_QCIF,     // 176x144
     *                     - FRAMESIZE_HQVGA,    // 240x176
     *                     - FRAMESIZE_240X240,  // 240x240
     *                     - FRAMESIZE_QVGA,     // 320x240
     *                     - FRAMESIZE_CIF,      // 400x296
     *                     - FRAMESIZE_HVGA,     // 480x320
     *                     - FRAMESIZE_VGA,      // 640x480
     *                     - FRAMESIZE_SVGA,     // 800x600
     *                     - FRAMESIZE_XGA,      // 1024x768
     *                     - FRAMESIZE_HD,       // 1280x720
     *                     - FRAMESIZE_SXGA,     // 1280x1024
     *                     - FRAMESIZE_UXGA,     // 1600x1200
     *                     - FRAMESIZE_FHD,      // 1920x1080
     *                     - FRAMESIZE_P_HD,     //  720x1280
     *                     - FRAMESIZE_P_3MP,    //  864x1536
     *                     - FRAMESIZE_QXGA,     // 2048x1536
     *                     - FRAMESIZE_QHD,      // 2560x1440
     *                     - FRAMESIZE_WQXGA,    // 2560x1600
     *                     - FRAMESIZE_P_FHD,    // 1080x1920
     *                     - FRAMESIZE_QSXGA,    // 2560x1920
     * @param fb_count     Number of frame buffers to be allocated. If more than one, then each frame will be acquired (double speed)
     */
    void register_camera(const pixformat_t pixel_fromat,
                         const framesize_t frame_size,
                         const uint8_t fb_count,
                         const QueueHandle_t frame_o);

pixel_fromat是像素的设置，frame_size是每一帧的大小，fb_count是帧的缓冲区的数量 frame_o是帧的输出流。
xQueueAIFrame队列是调用了xQueueCreate()的函数，创建了一个队列的深度(大小)为2，队列的每一项的大小是指向camera_fb_t类型的指针类型的大小，创建完后会返回QueueHandle_t类型的队列的句柄。

xQueueAIFrame = xQueueCreate(2, sizeof(camera_fb_t *));

😀第二步:此时xQueueAIFrame队列缓冲区里面放置着摄像头获取到的图片，调用register_cat_face_detection()的函数，将xQueueAIFrame队列缓冲区作为帧的输入流传入，register_cat_face_detection()函数中会通过AI模型计算，识别到猫脸，然后帧的输出流设置为NULL，至此猫脸检测的结果就显示到终端上了。

整个流程如下图所示:
请添加图片描述
接下来我们看register_cat_face_detection()函数里面具体是怎么实现操作的:请添加图片描述
在猫脸检测的函数中，调用xTaskCreatePinnedToCore将task_process_handler函数创建到freeRTOS上
在task_process_handler函数中做了一件什么事情呢？

static void task_process_handler(void *arg)
{
    camera_fb_t *frame = NULL;
    CatFaceDetectMN03 detector(0.4F, 0.3F, 10, 0.3F);
    while (true)
    {
        if (gEvent)
        {
            bool is_detected = false;
            //从xQueueFrameI中接收一项数据
            if (xQueueReceive(xQueueFrameI, &frame, portMAX_DELAY))
            {
                //AI模型计算
                std::list<dl::detect::result_t> &detect_results = detector.infer((uint16_t *)frame->buf, {(int)frame->height, (int)frame->width, 3});
                if (detect_results.size() > 0)
                {
                    draw_detection_result((uint16_t *)frame->buf, frame->height, frame->width, detect_results);
                    print_detection_result(detect_results);
                    is_detected = true;
                }
            }
            if (xQueueFrameO)
            {
                //向xQueueFrameO发送一项数据
                xQueueSend(xQueueFrameO, &frame, portMAX_DELAY);
            }
            else if (gReturnFB)
            {
                //                 /**
                //  * @brief Return the frame buffer to be reused again.返回要再次重用的帧缓冲区。
                //  *
                //  * @param fb    Pointer to the frame buffer
                //  */
                // void esp_camera_fb_return(camera_fb_t * fb);
                esp_camera_fb_return(frame);
            }
            else
            {
                free(frame);
            }
            if (xQueueResult)
            {
                //向xQueueResult发送一项数据
                xQueueSend(xQueueResult, &is_detected, portMAX_DELAY);
            }
        }
    }
}

首先如果xQueueFrameI队列缓冲区中有数据，可以调用xQueueReceive()的函数去接收一项；如果xQueueFrameI队列缓冲区中没有数据，则不去接收。当拿到了这项数据后，经过AI模型的计算，得出每一帧的结果。这时，再去调用xQueueSend()函数向xQueueFrameO队列缓冲区中发送一项数据。
如果事件队列不为空，则调用xTaskCreatePinnedToCore()函数将task_event_handler创建到freeRTOS上运行。
请添加图片描述
task_event_handler()中不断的从xQueueEvent中接收一项。

lcd

如果你已经理解了猫脸检测输出到终端的示例代码，那么LCD的也就变得简单了。

#include "who_camera.h"
#include "who_cat_face_detection.hpp"
#include "who_lcd.h"
#include "who_trace.h"

static QueueHandle_t xQueueAIFrame = NULL;
static QueueHandle_t xQueueLCDFrame = NULL;

extern "C" void app_main()
{
    xQueueAIFrame = xQueueCreate(2, sizeof(camera_fb_t *));
    xQueueLCDFrame = xQueueCreate(2, sizeof(camera_fb_t *));

    register_camera(PIXFORMAT_RGB565, FRAMESIZE_240X240, 2, xQueueAIFrame);
    register_cat_face_detection(xQueueAIFrame, NULL, NULL, xQueueLCDFrame, false);
    register_lcd(xQueueLCDFrame, NULL, true);

}

运行示例代码，将摄像头对准猫脸，监视器输出如下:请添加图片描述
😁示例烧录到开发板后，摄像头开始工作，调用register_camera()的函数，将摄像头的获取的图片 一帧一帧的传输到作为帧的输出流的xQueueAIFrame队列缓冲区。xQueueAIFrame队列缓冲区里面放置着摄像头获取到的图片，调用register_cat_face_detection()的函数，将xQueueAIFrame队列缓冲区作为帧的输入流传入，register_cat_face_detection()函数中会通过AI模型计算，识别到猫脸。如何将经过模型计算的每一帧的数据输出到LCD屏幕上呢？
我们需要一个作为帧输出流的队列缓冲区去接收经过模型计算的每一帧的数据，在本示例中就是xQueueLCDFrame，再调用register_lcd()函数将xQueueLCDFrame()队列作为帧的输入流传入，到此就显示到LCD屏幕上了。请添加图片描述
register_lcd()中也是先去初始化LCD的驱动，进行一些LCD的配置，紧接着调用xTaskCreatePinnedToCore()函数去调用一个任务函数。

web

理解了LCD的部分，那么web的代码就是将输出到LCD的队列xQueueLCDFrame改成了xQueueHttpFrame队列，最后调用register_httpd()方法将xQueueHttpFrame队列做为帧的输入流传入即可。

#include "who_camera.h"
#include "who_cat_face_detection.hpp"
#include "app_wifi.h"
#include "app_httpd.hpp"
#include "app_mdns.h"

static QueueHandle_t xQueueAIFrame = NULL;
static QueueHandle_t xQueueHttpFrame = NULL;

extern "C" void app_main()
{
    app_wifi_main();
    app_mdns_main();

    xQueueAIFrame = xQueueCreate(2, sizeof(camera_fb_t *));
    xQueueHttpFrame = xQueueCreate(2, sizeof(camera_fb_t *));

    register_camera(PIXFORMAT_RGB565, FRAMESIZE_QVGA, 2, xQueueAIFrame);
    register_cat_face_detection(xQueueAIFrame, NULL, NULL, xQueueHttpFrame);
    register_httpd(xQueueHttpFrame, NULL, true);
}

register_httpd()当你在打开网页后，触碰网页上的一些按钮，就会自动的触发一些方法。请添加图片描述
请添加图片描述
请添加图片描述
在这里插入图片描述
请添加图片描述

qq_45671732
关注
专栏目录
【雕爷学编程】MicroPython手册之 ESP32-S3-N8R8 猫脸检测 class cat_detection
雕爷学编程
10-31 365
接着调用模型进行推理，获取猫脸检测结果并将检测到的猫脸用矩形框标出，最后输出检测到的猫脸数量。在无限循环中，不断捕获摄像头画面并使用猫脸检测模型进行检测，将检测到的猫脸用矩形框标出，并输出检测到的猫脸数量。在使用cat_detection类时，需要注意选择合适的环境和摄像设备，以及进行必要的光照控制和背景净化，以提高检测的稳定性和可靠性。通过在ESP32-S3-N8R8上使用cat_detection类，可以实现对宠物活动区域的监控和猫脸的识别，帮助主人了解宠物的行为和健康状况。
ESP-WHO：开启您的智能图像处理之旅
gitblog_00085的博客
05-13 368
ESP-WHO：开启您的智能图像处理之旅 项目地址:https://gitcode.com/espressif/esp-who 1、项目介绍 ESP-WHO是一个基于Espressif芯片的图像处理开发平台，提供了丰富的真实应用场景示例，如人脸识别、猫脸检测、手势识别等。这个平台专为在ESP-IDF上运行而设计，旨在帮助开发者构建各种创新应用。 2、项目技术分析 ESP-WHO采用ESP-DL，这...
esp-who:人脸检测和识别框架
05-24
世界卫生组织 ESP-WHO是一个面部检测和识别平台，当前基于Espressif Systems的芯片。 概述 ESP-WHO以最便捷的方式支持基于Espressif Systems的芯片的面部检测和识别应用程序开发。 使用ESP-WHO，您可以轻松构建具有面部检测和识别功能的应用程序，例如： 根据您的喜好冲泡咖啡的咖啡机； 家用器具，当无人看管的儿童在操作时，它们会自动关闭电源； 以及其他满足您需求的应用程序。 通常，将支持ESP-WHO功能，如下所示： 在ESP-WHO中，检测，识别和图像实用程序是该平台的核心。 Image Utility提供了基本的图像处理API。 检测将图像作为输入，并在存在面部的情况下给出面部的位置。 它与MTMN模型，它是指实现和 。 识别是识别特定的人，它需要检测的结果。 它通过MobileFace模型实现。 优化主要是为了提高推理的精度，
我嘞个豆，将物件接入AI这么简单？（基于esp-ai将 esp32接入AI）
最新发布
weixin_44787578的博客
06-27 1376
esp-ai 让你的 esp32 开发板轻松接入 ai 服务。 为你的开发板提供全套的AI对话方案，包括但不限于 `ESP32` 系列开发板的 `IAT+LLM+TTS` 集成方案。
human_face_recognition(AI开发框架esp-who)
qq56hm的博客
09-14 441
BOOT按键的状态的不同也会触发不同的事件，通过register_button()的函数将BOOT按键的状态输出到xQueueKeyState按键的状态队列缓冲区里，再通过register_event()函数输出一个事件队列xQueueEventLogic，最后通过register_human_face_recognition()函数将xQueueAIFrame作为帧输入流传入 xQueueEventLogic传入一个事件队列，帧的输出流设置为NULL，结果将显示在终端上。
code_recognition(AI开发框架esp-who)
qq56hm的博客
09-14 844
app_main.c app_peripherals.c app_peripherals.h 调用xTaskCreatePinnedToCore()函数将decode_task函数创建任务，在freeRTOS实时性操作系统中运行 decode_task()任务函数中做了以下操作: app_camera_init()初始化摄像头后，如果返回值不等于ESP_OK，说明摄像头初始化失败，调用vTaskDelete(NULL);删除任务并退出 摄像头初始化后会输出一个帧的输出流，调用esp_camera_fb_ge
esp-who master_20210817 ESP32 人脸识别开发框架
08-17
ESP32 人脸识别开发框架，esp-who 框架，github clone 的 master 版本，里面的子模块 esp-idf 框架也是完整的，可以直接使用。 github 拉取太慢了，备份下来使用。
cpp-ESPWHO是一个基于ESP32的人脸检测和识别平台
08-16
ESP-WHO是一个基于ESP32的人脸检测和识别平台
速成：:man_dancing:快速集成开发环境:smiling_cat_face_with_heart-eyes:
02-02
速成：:man_dancing:快速集成开发环境:smiling_cat_face_with_heart-eyes:
HelloWorld：:cat_face:‍:bust_in_silhouette::cat_face:‍:motorcycle::cat_face:‍:laptop_computer::cat_face:‍:dragon::cat_face:‍:glasses::cat_face:‍:rocket:
02-19
你好，世界 :cat_face:‍:bust_in_silhouette::cat_face:‍:motorcycle::cat_face:‍:laptop_computer::cat_face:‍:dragon::cat_face:‍:glasses::cat_face:‍:rocket:
福柯西亚语：:evergreen_tree::cat_face_with_wry_smile:
02-11
（以获得更好的降价 :grinning_cat_face_with_smiling_eyes: ） 有终端演员 :smiling_cat_face_with_heart-eyes: :smiling_cat_face_with_heart-eyes: :smiling_cat_face_with_heart-eyes: 配属 :evergreen_tree: ...
esp-who.7z
10-09
github clone过于缓慢，然后呢就用众所周知的方法搞到了手，集成ESP32库，还有众多例程，欢迎下载哈哈哈哈哈
:cat_face:‍:motorcycle:阿童木聊天室 nestjs+vue全栈聊天室 前后端分离 typescript一把梭-Vue.js开发
05-27
:cat_face:‍:motorcycle:阿童木聊天室 nestjs+vue全栈聊天室 前后端分离 typescript一把梭 阿童木聊天室 码云 在线地址www.genal.fun 有建议请到issues区 项目简介 :face_with_tongue: 闲暇时间想做一个...
python检测猫脸
weixin_51304175的博客
10-21 1175
本人喜欢猫，今天用python完成了对猫的检测 代码： # -*- coding: utf-8 -*- """ Created on Wed Oct 16 09:23:38 2019 @author: Administrator """ import cv2 filepath = "E:\\the_data\\opencv\\cat5.jpg" img = cv2.imread(filepath) # 读取图片 gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY
猫脸识别
weixin_38631697的博客
04-23 1245
猫脸识别 # -*- coding: utf-8 -*- 指定路径版本 """ 猫脸检测 """ import cv2 # 加载猫脸检测器（方案一） #classPath = 'C:\\Users\\Administrator\\Anaconda3\\Lib\\site-packages\\cv2\\data\\haarcascade_frontalcatface.xml' #face_casc...
用 OpenCV 检测猫脸
深度学习与计算机视觉
10-02 2441
Python中的OpenCV猫脸检测代码使用 OpenCV 的预训练级联分类器可以轻松检测照片或视频中的猫脸。完成所有工作的代码：importcv2 cascade=cv2.CascadeClassifier('haarcascade_frontalcatface.xml') cap=cv2.VideoCapture(0) whileTrue: ret,i...
espwho-esp32cam-vscode开发使用
WillPower
11-25 7589
文章目录espwho简介vscode环境espwho代码拉取以终端显示人脸识别示例头文件等包含问题解决添加menuconfig验证效果检测演示人脸检测猫脸检测 esp-who github链接 espwho简介 ESP-WHO 提供了例如人脸检测、人脸识别、猫脸检测和杏仁识别等示例。您可以基于这些示例，衍生出来的实际应用。ESP-WHO 的运行基于 ESP-IDF。ESP -DL为ESP-WHO 提供了深度的深度学习相关接口，配合各种外设可以实现许多单一的应用。 vscode环境 ctrl+shift+x
闲得发慌之趣味技能：python之猫脸检测
weixin_45625815的博客
05-19 400
Python 小猫检测，通过调用opencv自带的猫脸检测的分类器进行检测。 分类器有两个：haarcascade_frontalcatface.xml和 haarcascade_frontalcatface_extended.xml。可以在opencv的安装目录下找到 D:\Program Files\OPENCV320\opencv\sources\data\haarcascades 小猫检测代码为： 1.直接读取图片调用 import cv2 image = cv2.imread("cat_04.
122猫脸识别检测
vdggrdgrdg的博客
03-14 1196
089基于深度学习的小样本数据检测_含10多种模型包括alexnet、DenseNet、DLA、GoogleNet、Mobilenet、ResNet、ResNeXt、ShuffleNet、VGG、EfficientNet和Swin tran。084基于CNN卷积神经网络的核桃品质检测_含10多种模型包括alexnet、DenseNet、DLA、GoogleNet、Mobilenet、ResNet、ResNeXt、ShuffleNet、VGG、EfficientNet和Swin。
ESP-IDF +Nabto
05-03
ESP-IDF是Espressif IoT Development Framework的缩写，是一款面向ESP32和ESP32-S系列芯片的开发框架，用于开发物联网设备。 Nabto是一家提供基于P2P技术的远程访问解决方案的公司，其产品可以让设备直接在互联网上建立点对点连接，实现远程访问和控制。在ESP-IDF中集成Nabto可以让ESP32设备可以直接通过互联网进行远程访问和控制。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

qq_45671732

你们鼓励将是我创作的最大动力！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值