仅358元,用ESP32 开发板 DIY一个AI大模型瓦力机器人,可接入DeepSeek、OpenAI

162e7b2a3e463f67193f8047b11dfd86.gif

获取项目源码,文末联系小编

ESP-SparkBot 是⼀款基于 ESP32-S3开发板,集成语⾳交互、图像识别、遥控操作和多媒体功能于⼀体的智能设备。它不仅可以通过语⾳助⼿实现⼤模型对话( DeepSeek、OpenAI 、通义千问)、天⽓查询、⾳乐播放等互动,还使⽤⼩度⼿机 APP 完成蓝牙配⽹、⾳⾊切换、⾳乐播放及其他智能服务。

同时,ESP-SparkBot 内置加速度传感器,⽀持摇⾊⼦和 2048 游戏等娱乐交互功能。硬件⽅⾯,其磁吸式设计⽀持模块扩展,可轻松转换为遥控⼩⻋,实现摄像头实时传输和⼿机操控。此外,设备⽀持本地 AI 处理,可以运⾏⼈脸识别和动作检测功能。你还可以通过投屏模块实现⾼清视频播放和游戏运⾏,展⽰强⼤的性能和多功能性。

ESP-SparkBot 机器人功能

2786b27ae3691f59afca81410f8de633.jpeg

ESP-SparkBot 使用 ESP32-S3 自带的触摸功能进行交互,触摸按键通过 FPC 软排线粘贴在 ESP-SparkBot 的顶部及两个侧面,默认情况下,顶部按键用于确认,左右两侧按键用于功能上下切换。由于受到摄像头结构的影响,顶部按键被分割为左右两块,实际两个按键串接在同一个触摸引脚上。

  • 天气时钟,通过IP地址显⽰当地⽇期、天⽓、温度

  • 大模型AI对话,通过接入 DeepSeek、OpenAI 、通义千问等大语言模型,实现对话聊天功能

  • 蓝牙音箱,支持语音控制小度,支持APP中进行音量调节、切换播报音色、还能绑定QQ音乐/喜马拉雅播放音乐、新闻、有声读物……

  • 语音/人脸识别&移动检测,可本地离线运⾏,包含猫脸识别、⾏⼈检测等

  • USB 投屏,可作为电脑副屏、扬声器、麦克⻛使⽤,还能体验电竞、3A⼤作

  • 智能小车,支持手机/语音控制、无线图传、拍照,切换灯光功能,开发了配套的控制界面,使用浏览器打开即可使用

  • 赛博木鱼,敲赛博⽊⻥,即可积累功德,通过⼴播多个设备同时敲⽊⻥,还能成倍积累功德,功德圆满后进入放松摸⻥状态

  • 休闲小游戏,赛博骰子、2048 游戏等

ESP-SparkBot 机器人演示

f70153dc66afa46682b6a25625a46131.gif

ESP-SparkBot 可以通过接入大语言模型,实现对话聊天功能,如:文心一言、DeepSeek、OpenAI 、通义千问等

213d8d5637d693de07bf7e7d2e09c736.gif

ESP-SparkBot 可以通过摄像头识别交互手势和两侧触摸交互

37b02ef44eecf403d82b49d85fd3ac9e.gif

接入DuerOS ,可让你以自然语言对话的交互方式,实现影音娱乐、信息查询、生活服务、出行路况等10大类目的200多项功能的操作。

988face6fc9a99dc02cc7fe34125c822.gif

ESP32-S3 ⽀持在本地离线运⾏⼀些 AI 模型,比如语⾳识别、⼈脸识别和移动检测。通过使用 ESP-SR 库,可以轻松在本地实现语音识别。通过使用 ESP-WHO 库,可以轻松实现其他视觉 AI 模型,比如猫脸识别、人脸识别、移动检测和⾏⼈检测等。

31aaff32f65307910b72276f646b4a07.gif

3f55fa7264095e09803424ede05cad9c.gif

你可以使用语音或者App控制它前进后退和左右转,或者通过无线遥控器、语音控制小车运动

03ed3517d543fe4c87207641783ecf3f.gif

ESP-SparkBot 还可以通过 USB 进⾏投屏,仅需⼀根 USB 线即插即⽤,不占⽤ HDMI ⼝,可以轻松把它当作⼀个电脑副屏使⽤。⽀持⾳频双向传输,既可以当作扬声器,也可以当作麦克⻛。除了可以流畅观看电视剧,还可以流畅体验电竞或者 3A ⼤作。

9b20c358713014e0513e1f1df6707813.gif

在赛博木鱼功能界面,通过触摸 ESP-SparkBot 顶部的触摸按键,可以敲赛博⽊⻥,积累功德。如果⼿中有很多 ESP-SparkBot,可以通过 ESP-NOW ⼴播同时敲⽊⻥。成倍积累功德。功德圆满后进入放松摸⻥状态。

ESP-SparkBot 机器人

a2175d19b349b650188de6cd3ad290b9.png

ESP-SparkBot 物料清单如下:

  • 主控:ESP32-S3-WROOM-1-N16R8

  • 4P pogopin 磁吸连接器

  • 摄像头OV2640

  • 1.54 寸显示屏

  • 4欧3瓦3020方形腔体喇叭

  • 小聚合物3.7v锂电池,需备注接 1.25 红黑插头

  • 1.27MM单排母弯针母座 15P

  • 麦克风:B4013AM422-42 驻极体电容φ4.0*1.3mm 1.0V-10V咪头

  • 黑色小履带

  • N20减速电机

a3980b54b90e3d56b13af884263012d7.png

ESP-SparkBot 主体的一共有 3 块 PCB 板,都通过 1.27mm 的排针排母进行对接。其中,竖着的核心 PCB 板上有 ESP32-S3 的模组、屏幕驱动电路及接口、摄像头驱动电路及 FPC 接口、ES8311 音频电路及扬声器接口。由于受结构影响,麦克风单独贴装在一块小的 PCB 板,它与主控板之间通过 4P 1.27mm 的排针排母进行对接。横着的底部 PCB 板上搭载了 USB-Type-C 口、BMI270 陀螺仪、5V-3.3V DC-DC 转换电路、锂电池充电管理电路及接口、4P 磁吸连接器(母)。竖着的核心 PCB 板和横着的 主体 3D 结构由四部分组成,分别是主体后壳、主体前盖(带屏幕卡口)、摄像头前盖和摄像头后盖。

d5967e9c6be8990063055b8b6466cfa2.png

ESP-SparkBot 履带小车底盘由两个 N20 减速电机、ESP32-C2 主控 PCB 板、前后 RGB 灯板、4P 磁吸连接器板、锂电池、两个橡胶履带和 3D 打印结构组成。左右两侧履带分别由两个 N20 减速电机进行驱动,3D 结构设计上主动轮设计有牙槽,防止打滑。

履带小车一共有四块 PCB 组成,需要飞线连接,飞线连接图如下:

4793c8cfaa24b6fc0350c9b8c4fd8ff9.png

ESP-SparkBot 机器人源码 

ESP-SparkBot 主体电路设计参考了乐鑫官方的 ESP32-S3-EYE 和 ESP32-P4-Function-EV-Board 开发板电路,其中摄像头和屏幕电路参考的是 ESP32-S3-EYE 开发板,麦克风和扬声器电路参考的 ESP32-P4-Function-EV-Board 开发板,其他电源切换电路、锂电池充电管理电路等。

ESP-SparkBot 项目资料获取:

https://oshwhub.com/esp-college/esp-sparkbot

如有需求,请加小编微信:  beacon0418


7c72e4a44744c06f6a29f695f2d38eb1.png

往期推荐

☞ 高德地图: 红绿灯倒计时大揭秘

☞ Arduino 开源 ESP32 智能手表

☞ 源码交付 IoT智慧水务、污水处理

☞ 强制引入北斗定位,开启亿级IoT市场

☞ 这苦逼的IoT物联网我竟坚持了十年

☞ 打工人上班摸鱼, AI 监控老板行踪

d34c18708766e77bb44a170250cae23f.png

645b856424fedb48b2d3a9365d926d7e.png

免责声明:本公众号所发布的内容来源于互联网,我们会尊重并维护原作者的权益。由于信息来源众多,若文章内容出现版权问题,或文中使用的图片、资料、下载链接等,如涉及侵权,请告知我们,我们将尽快处理。

24ec66ea381fa391f3cdd4e8cf4fd70b.gif

69a39529dc82ee01d4739be6601d44eb.gif

9e9d27cb58f0dec6ce2ee34af07a977e.gif

b0f269b21eb96f2c234c69be18ade192.gif

### ESP32连接DeepSeek教程 #### 准备工作 为了使ESP32能够成功连接到DeepSeek并构建一个功能性的对话助手,需准备如下硬件和软件资源[^1]: - **硬件需求** - 基于ESP32开发板。 - 音频输入设备(麦克风模块)。 - 音频输出设备(扬声器或耳机插孔)。 - **软件环境配置** 安装适用于Windows系统的Arduino IDE,并通过该IDE安装必要的库来支持ESP32的操作。还需下载并设置好用于运行DeepSeek模型的服务端程序。 #### 软件部署流程 完成上述准备工作之后,按照以下指南进行操作可以实现在本地环境中让ESP32DeepSeek交互的功能: - **服务端搭建** 使用Ollama框架或其他兼容方案,在PC上启动承载DeepSeek模型的服务接口。确保此服务器可以通过Wi-Fi网络被ESP32访问。 - **客户端编程** 编写一段Arduino代码片段作为ESP32上的客户端应用逻辑,负责采集音频数据并通过HTTP请求发送给远程API;接收来自API的回答后播放出来。下面给出了一段简化版伪代码示例: ```cpp #include <WiFi.h> #include "AudioFileSourceBuffer.h" #include "AudioGeneratorMP3.h" const char* ssid = "your_SSID"; const char* password = "your_PASSWORD"; void setup() { Serial.begin(115200); WiFi.begin(ssid, password); while (WiFi.status() != WL_CONNECTED) { delay(1000); Serial.println("Connecting to WiFi..."); } // 初始化其他组件... } void loop() { if(/* 用户触发录音 */) { /* 录制语音 */ /* 将录制好的语音文件上传至DeepSeek API */ HTTPClient http; String url = "http://<server_ip>:8080/api/v1/inference"; // 替换成实际地址 http.begin(url); http.addHeader("Content-Type", "application/octet-stream"); int httpResponseCode = http.POST(fileData); // fileData为二进制形式的声音文件流 if(httpResponseCode>0){ String response=http.getString(); /* 解析返回的结果并转换成语音播放 */ } http.end(); } } ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值