esp32 camera_机器学习助力智能家居,支持ESP32的 TensorFlow Lite Micro 现已发布!

v2-86c095d92e4a97d844815496fc64e05e_1440w.jpg?source=172ae18b

ESP32 简介:Wi-Fi MCU

我们很高兴宣布设备端机器学习框架 TensorFlow Lite 已支持 ESP32 芯片组,可进一步减轻 TensorFlow Lite Micro 的工作负载,助力智能家居体验。

作为原型设计的优异载体,微控制器 ESP32 深受业余爱好者和技术极客欢迎,可对现实世界的数据/物体进行感知或修改,被广泛应用在灯泡、开关、冰箱和空调等智能家居应用的连接中。

v2-6de121ec468f84cdd13386112ca12a72_b.jpg

ESP32 的独特之处在于它是一款独特的 SoC,可以从原型快速推进到批量生产。它拥有广泛的社区、众多的开发套件和大量的教程/SDK,是快速原型设计的优异载体,几乎能够涵盖所有您感兴趣的任何垂直领域。多合一软件包 (Wi-Fi/BT/MCU) 和现有的实际大量部署使其成为构建最终产品的理想选择。

ESP32 已广泛用于智能家居/互联设备项目,将各种传感器和执行器连接到微控制器,感知环境并采取相应行动。在 ESP32 上执行 TensorFlow Lite for Microcontrollers 将为各种由本地推理触发的用例提供场景。ESP32 有 双核 CPU 和一系列优化,更易运行繁重的 TF Micro 工作负载。Wi-Fi 回传有助于推送远程事件,并根据推理触发动作。

人员检测或门铃摄像头?

举个例子,我们修改了大家可能都很熟悉的 person_detection 示例,把它变成一个智能门铃摄像头。我们使用 ESP-EYE 开发者套件进行此演示。注意,这个示例使用的是人员检测(它在人脸出现在摄像头前时进行检测),而不是人员识别(识别这个人是谁)。

ESP-EYE 开发者套件包括 ESP32 Wi-Fi/BT MCU 和一个 200 万像素的摄像头。

实际操作

我们将在示例中使用这个摄像头进行观察,如果检测到附近有人就会发出电子邮件通知。

v2-ae02f690220b1357f2c55661a5c3b550_b.gif

自行构建

1. 订购 ESP-EYE:您可以从最喜欢的经销商处或从这里获取 ESP-EYE 开发套件。您需要一条 USB 转 micro-USB 线来连接到 Windows/Linux/macOS 主机。

2. 克隆代码库:https://github.com/espressif/tensorflow/

3. 设置开发主机:使用 ESP32 交叉构建所需的工具链和实用工具设置开发主机。按照 ESP-IDF 入门指南的说明设置工具链和 ESP-IDF。

4. 生成示例:使用以下命令生成示例项目:

make -f tensorflow/lite/micro/tools/make/Makefile TARGET=esp generate_doorbell_camera_esp_project

5. 构建示例:

a. 转到示例项目目录

cd tensorflow/lite/micro/tools/make/gen/esp_xtensa-esp32/prj/doorbell_camera/esp-idf

b. 使用以下命令克隆 esp32-camera 组件:

$ git clone https://github.com/espressif/esp32-camera components/esp32-camera

c. 配置摄像头和电子邮件地址:

idf.py menuconfig

d. 进入Camera Pins 配置SMTP 设置菜单,选择摄像头详细信息以及电子邮件详细信息。

e. 构建示例:

idf.py build

6. 刷新并运行程序:使用以下命令刷新并运行程序:

idf.py --port /dev/ttyUSB0 flash monitor

7. 接下来,只要检测到人脸,程序就会向配置的电子邮件地址发送电子邮件。

未来计划

试过了门铃摄像头示例,您可以感受一下 TF Micro 代码库中的其他应用:hello_world 和 micro_speech。

ESP32 对于微控制器非常强大。在时钟频率 240MHz 下,仅用一个内核即可在 1 秒内完成检测(大约 700 毫秒;我们即将推出额外优化来进一步缩短时间)。这样,另一个内核就可以自由处理应用中的其他任务。

当然,《TinyML》一书是深入了解 TensorFlow Lite for Microcontrollers 的绝佳资源。


谷歌开发者官方现已开通知乎专栏:TensorFlow 学习资源站,一站式收录来自官方的 TensorFlow 相关实用技术资源,欢迎关注,及时收到更新提醒!

想获取更多产品发布新消息?欢迎关注 TensorFlow 官方微信公众号(TensorFlow_official)!

v2-c8664acbdcad2771265424f5991ebb40_b.jpg
  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
2022 / 01/ 30: 新版esptool 刷micropython固件指令不是 esptool.py cmd... 而是 esptool cmd... 即可;另外rshell 在 >= python 3.10 的时候出错解决方法可以查看:  已于2022年发布的: 第二章:修复rshell在python3.10出错 免费内容: https://edu.csdn.net/course/detail/29666 micropython语法和python3一样,编写起来非常方便。如果你快速入门单片机玩物联网而且像轻松实现各种功能,那绝力推荐使用micropython。方便易懂易学。 同时如果你懂C语音,也可以用C写好函数并编译进micropython固件里然后进入micropython调用(非必须)。 能通过WIFI联网(2.1章),也能通过sim卡使用2G/3G/4G/5G联网(4.5章)。 为实现语音控制,本教程会教大家使用tensorflow利用神经网络训练自己的语音模型并应用。为实现通过网页控制,本教程会教大家linux(debian10 nginx->uwsgi->python3->postgresql)网站前后台入门。为记录单片机传输过来的数据, 本教程会教大家入门数据库。  本教程会通过通俗易懂的比喻来讲解各种原理与思路,并手把手编写程序来实现各项功能。 本教程micropython版本是 2019年6月发布的1.11; 更多内容请看视频列表。  学习这门课程之前你需要至少掌握: 1: python3基础(变量, 循环, 函数, 常用库, 常用方法)。 本视频使用到的零件与淘宝上大致价格:     1: 超声波传感器(3)     2: MAX9814麦克风放大模块(8)     3: DHT22(15)     4: LED(0.1)     5: 8路5V低电平触发继电器(12)     6: HX1838红外接收模块(2)     7:红外发射管(0.1),HX1838红外接收板(1)     other: 电表, 排线, 面包板(2)*2,ESP32(28)  

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值