乐鑫esp32音频开发板接入​DuerOS对话式人工智能系统

总结

乐鑫esp32接入​DuerOS需要乐鑫音频开发板配合:乐鑫开源: 用技术共享推动万物智联

接入需要到百度DuerOS注册才行:DuerOS开放平台 

 本来以为是用乐鑫esp32c3开发板就行的,发现不行。本来以为DuerOS是一个开源RTOS,结果不开源,需要注册。

当然在有业务需求的情况下,这两者结合,将是快速开发的好助力。所以先了解下,以后有机会再继续跟进。

DuerOS

百度度秘事业部研发的对话式人工智能系统

DuerOS是百度度秘事业部研发的对话式人工智能系统。

搭载DuerOS的设备可让用户以自然语言对话的交互方式,实现影音娱乐、信息查询、生活服务、出行路况等10大类目的200多项功能 [1]的操作。同时,借助云端大脑,DuerOS可以不断学习进化,变得越来越“聪明”。

DuerOS广泛适用于音箱、电视、冰箱、手机、机器人、车载、可穿戴、玩具等多种场景及设备,已与国内外多家企业达成战略合作。同时,DuerOS还为不同类型的硬件厂商打造了小度智能设备平台;为开发者推出了小度技能开放平台。极大的降低使用门槛,加速产业升级。

DuerOS对话式人工智能系统,真正使AI高科技落地到现实生活,降低用户获取信息的门槛,为人类带来简单可得的便利。 [2] 在2017年的百度世界大会,DuerOS正式升级为DuerOS2.0,这次全面的升级,包括升级的小度智能设备开放平台和全新发布的小度技能开放平台。升级后的DuerOS2.0,将会给用户和行业带来更好的“听清、听懂和满足”体验。 [3]同时,百度还发布了三款搭载DuerOS2.0的人工智能硬件产品,渡鸦raven H 、raven R 及raven Q。 [4]

2018年1月8日,百度 CES 发布会分享了其最新 AI 战略,以及 DuerOS 2.0 平台的最新进展,推出了基于 DuerOS 2.0 的三款智能产品。 [5]

2018年3月16日,Coocaa OS与百度DuerOS在技术、内容、数据、运营四个方面进行深度融合。 [6]

看到DuerOS,是在乐鑫解决方案文档的时候:音频应用框架 - - — ESP-FAQ latest 文档

里面提到:

有接入百度语音或大模型的参考例程吗?

请参考 dueros 例程

 但是去官网看了下,发现Dueros并没有像其它开源软件那样,官网上会链接给出源码,而是采用商用、技术合作的方式。估计这种方式劝退了很多人、很多潜在用户。。。。。当然有利的一面就是能筛选很多人,提出申请的都是优质用户。

乐鑫例程里面,还是挺不错的,我的理解,是大约esp32的板子,就可以连上小度音箱,然后就能跑智能程序了。。。。

事实证明是我肤浅了,只有乐鑫的音频开发板才能支持!

哇,gitee里面已经有DuerOS3.0的文档了,而且是中文的:

esp-adf: ESP-ADF 是由乐鑫官方推出的针对 ESP32 和 ESP32-S2 系列芯片的音频开发框架。ESP-ADF 国内镜像仓库,Issues 和 PRs 请仍旧提交到 github。 - Gitee.com

乐鑫esp32的DuerOS接入 

例程简介

本例程主要功能是连接百度 DuerOS 3.2 云端并进行语音交互,可以适用于智能音箱产品、智能玩具、语音控制设备等。此示例是一个综合性较强的例程,使用了 ADF 提供的高封装简易实用接口。建议用户构建项目时,优先使用 ADF 提供的高封装接口,可快速简便地构建项目。

其中,esp audio 处理音频播放,wifi service 接口管理配网和连接 Wi-Fi,audio recorder 负责唤醒和语音数据管理,display service 管理系统指示灯,Dueros service 连接 DuerOS,esp_periph_set_register_callback 管理按键事件,也可以使用 Key service 按键服务来管理按键。

此外,本例程需要预先在 百度 DuerOS 开放平台 申请 DuerOS 的 profile,并拷贝内容到 ADF_PATH/components/dueros_service/duer_profile 文件中。

小度APP

本例程已经支持接入小度APP并使用该应用配置 WiFi,使用该功能需要联系百度以获取其特殊提供的 DuerOS profile,设备名前缀和密钥,当前无法自行通过网页获取。

使用 小度APP 配置 WiFi

  • 选择小度APP配网模式,并填写配置
    • menuconfig > Example Configuration > WiFi Setting type > Lightduer DIPB WiFi config
    • Duer client ID: 由百度提供
    • Duer device ID:DuerOS profile 中的 uuid 字段
    • Duer ECC public key:由百度提供
  • 设置设备名
    • menuconfig > Component config > DuerOS Service > Duer device name
    • 设备名需要特殊前缀,由百度提供。不同前缀对应的不同设备类型,如 xdtp-D1 在配网时需要选择 添加设备 -> 儿童设备 -> 儿童故事机

文心一言

本例程已经支持接入百度文心一言,使用本例程与云端交互,可以得到来自大模型更加丰富与智能的结果。

接入文心一言需要使用开通此功能的 profile,在申请 DuerOS profile 时请明注意勾选该需求。

在有正确的 profile 并按照下文介绍的步骤编译并烧录 profile 与程序之后,唤醒设备就可以与文心一言进行交互。

环境配置

硬件要求

本例程支持的开发板在 $ADF_PATH/examples/README_CN.md 文档中例程与乐鑫音频开发板的兼容性表格中有标注,表格中标有绿色复选框的开发板均可运行本例程。请记住,如下面的 配置 一节所述,可以在 menuconfig 中选择开发板。

可运行的开发板为:

看了下,都是比较高端的板子,这个成本,做出来基本上性价比的优势就不大了。

 但是确实是一个搭起来比较快的解决方案!

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值