ESP Multi-Room Music 方案：支持音频实时同步播放 实现音乐互联共享

于 2023-11-28 18:36:42 发布
阅读量671 收藏 1
点赞数 1
文章标签： 乐鑫科技 实时音视频 环绕立体声
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/espressif/article/details/134673507
版权

项目背景

随着无线通信技术的发展，针对不同音频应用领域的无线音频产品正不断涌现。近日，乐鑫科技推出了基于 Wi-Fi 的多扬声器互联共享音乐通信协议——ESP Multi-Room Music 方案。该方案使用乐鑫自研的基于 Wi-Fi 局域网的音频同步播放技术，支持音频设备间低延时自动校准，打造影院级立体声环绕系统。该方案具有以下优势：

  • 影院级立体声环绕系统： 可居家轻松构建影院级的立体声环绕系统，升级家庭影音系统，感受高质量的澎湃声音体验。
  • 低延时自校准：ESP Multi-Room Music 方案支持自动低延时校准，确保在不同位置的所有扬声器声音同步。
  • DIY 环绕效果：支持用户自定义多设备之间的组网以及环绕效果，可以根据用户的居家环境和喜好，实现对音箱的智能 DIY 群组控制。
  • 多播放来源：支持来自媒资云端、手机设备、本地 AUX等输入方式，可随时随地构建设备协同播放场景。
  • 稳定性和可靠性：基于局域网 Wi-Fi 技术，提供稳定、可靠的音频数据传输，让用户的音频体验更加流畅。
  • 易于安装和使用：无需复杂的设置过程，用户即可轻松安装和使用。同时摆脱繁琐的信号线缆，使空间更加整洁。

观看视频了解 ESP Multi-Room Music 方案。

ESP 音乐互联共享【超酷】

ESP Multi-Room Music 方案开源项目现已开源在 GitHub。

项目价值

ESP Multi-Room Music 方案支持单个音箱的独立操作，在实现语音对话、音乐播放的同时，还能与其他预设群组音箱同步播放，并完成精确的实时校准同步，以实现立体环绕的音箱效果。这意味着，无论是个人消费类音响产品，还是专业商业音响产品，该方案都能为用户提供卓越的环绕体验和便利的使用体验。因其低时延同步播放的特性，该方案还能够被用于校园广播、居家检测报警、工厂流程化产品等应用中，为实时音频信息传递和设备实时共享提供关键支持。此外，ESP Multi-Room Music 方案还能与 ESP RainMaker 云平台实现互联，在满足用户使用 APP 对音响进行 DIY 群组控制的同时，还能作为语音中枢记录环境中的其他智能产品。

综上所述，ESP Multi-Room Music 方案为音频互联共享提供了崭新和高效的解决方案，这将为用户、学生、家庭和企业带来更丰富、更便捷、更智能的音频体验！

开发指南

1. 环境配置

硬件要求：本例程支持的开发板在 $ADF_PATH/examples/README_CN.md 文档中例程与乐鑫音频开发板的兼容性表格中有标注，表格中标有绿色复选框的开发板均可运行本例程。如下面的配置一节所述，可以在 menuconfig 中选择开发板。

2. 编译和下载

使用 IDF 其他分支：本例程支持 IDF release/v4.2 及以后的分支，例程默认使用 IDF release/v4.4 分支。

cd $IDF_PATH

git checkout master

git pull

git checkout release/v4.2

git submodule update --init --recursive

配置：打开配置选项 idf.py menuconfig。

在 menuconfig > Audio HAL 中选择合适的开发板。

在 Example Configuration > WiFi SSID 和 WiFi Password 配置 Wi-Fi 网络。

编译和下载：请先编译版本并烧录到开发板上，然后运行 monitor 工具来查看串口输出 (替换 PORT 为端口名称):

idf.py -p PORT flash monitor

退出调试界面使用 Ctrl-]。

有关配置和使用 ESP-IDF 生成项目的完整步骤，请参阅《ESP-IDF 编程指南》。

3. 如何使用例程

功能和用法：

  • 准备三块及以上乐鑫音频开发板（例如 ESP32-S3-Krovo-2 或者 ESP32-LyraT-Mini），同时在所有开发板上加载并运行示例。
  • 当所有开发板都处于从机开始搜索模式后，按下其中一块开发板的 PLAY/REC 键开始 (ESP) Multi-Room Music 播放。

日志输出：

  • 从机开始搜索，打印如下：
I (5451) ESP_AUDIO_TASK: media_ctrl_task running...,0x3f805a60



----------------------------- ESP Audio Platform -----------------------------

|                                                                            |

|                 ESP_AUDIO-v1.6.6-10-gf944a6b-aca0d7f-2d83f7a               |

|                     Compile date: Mar 15 2021-11:14:21                     |

------------------------------------------------------------------------------

I (5492) ESP_AUDIO_CTRL: Func:media_ctrl_create, Line:342, MEM Total:4338832 Bytes, Inter:220956 Bytes, Dram:205124 Bytes



I (5504) AUDIO_HAL: Codec mode is 3, Ctrl:1

I (5510) MRM_EXAMPLE: [ 3 ] Create and start input key service

I (5516) ESP_DECODER: esp_decoder_init, stack size is 30720

I (5522) I2S: DMA Malloc info, datalen=blocksize=1200, dma_buf_count=3

I (5545) I2S: APLL: Req RATE: 48000, real rate: 47999.961, BITS: 16, CLKM: 1, BCK_M: 8, MCLK: 12287990.000, SCLK: 1535998.750000, diva: 1, divb: 0

I (5549) ESP_AUDIO_CTRL: Enter play procedure, src:0

I (5554) ESP_AUDIO_CTRL: Play procedure, URL is ok, src:0

I (5560) ESP_AUDIO_CTRL: Request_CMD_Queue CMD:0, Available:5, que:0x3ffd5320

I (5568) ESP_AUDIO_TASK: It's a decoder

I (5572) ESP_AUDIO_TASK: 1.CUR IN:[IN_raw],CODEC:[DEC_auto],RESAMPLE:[48000],OUT:[OUT_iis],rate:0,ch:0,pos:0

I (5583) ESP_AUDIO_TASK: 2.Handles,IN:0x3f806fd0,CODEC:0x3f807254,FILTER:0x3f8075b8,OUT:0x3f807414

I (5592) ESP_AUDIO_TASK: 2.2 Update all pipeline

I (5597) ESP_AUDIO_TASK: 2.3 Linked new pipeline

I (5603) AUDIO_PIPELINE: link el->rb, el:0x3f806fd0, tag:IN_raw, rb:0x3f807758

I (5611) AUDIO_PIPELINE: link el->rb, el:0x3f807254, tag:DEC_auto, rb:0x3f809f98

I (5619) AUDIO_PIPELINE: link el->rb, el:0x3f8075b8, tag:Resample, rb:0x3f80bfd8

I (5627) ESP_AUDIO_TASK: 3. Previous starting...

I (5632) AUDIO_ELEMENT: [IN_raw-0x3f806fd0] Element task created

I (5639) AUDIO_THREAD: The DEC_auto task allocate stack on external memory

I (5648) AUDIO_ELEMENT: [DEC_auto-0x3f807254] Element task created

I (5653) AUDIO_ELEMENT: [DEC_auto] AEL_MSG_CMD_RESUME,state:1

I (5660) ESP_AUDIO_TASK: No Blocking play with decoder

I (5665) ESP_AUDIO_TASK: Recv Element[IN_raw-0x3f806fd0] MSG,type:20000,cmd:8,len:4,status:AEL_STATUS_STATE_RUNNING

I (5677) ESP_AUDIO_TASK: Recv Element[IN_raw-0x3f806fd0] MSG,type:20000,cmd:8,len:4,status:AEL_STATUS_STATE_RUNNING

I (5688) ESP_DECODER: Ready to do audio type check, pos:0, (line 104)

I (5695) ESP_AUDIO_CTRL: Func:_ctrl_play, Line:763, MEM Total:4267572 Bytes, Inter:206344 Bytes, Dram:190512 Bytes



I (5706) ESP_AUDIO_CTRL: Exit play procedure, ret:0

W (5714) MRM_MULTICAST: creat addr 239.255.255.252 port 1900

I (5718) AUDIO_THREAD: The mrm_slave_client task allocate stack on external memory

I (5726) MRM_CLIENT: Slave start searching...
  • 主机开始播放，打印如下：
I (56177) MRM_EXAMPLE: [ * ] [Play] input key event

I (56734) MRM_CLIENT: slave client task stoped

I (56735) AUDIO_THREAD: The mrm_master_client task allocate stack on external memory

I (58324) HTTP_STREAM: total_bytes=2994349

I (58325) AUDIO_ELEMENT: [http-0x3f805e44] Element task created

I (58325) AUDIO_THREAD: The multi_room_play task allocate stack on external memory

I (58334) ESP_DECODER: Detect audio type is MP3

I (58338) MP3_DECODER: MP3 opened

I (58342) ADF_BIT_STREAM: The element is 0x3f807254. The reserve data 2 is 0x0.

I (58353) ESP_AUDIO_TASK: Recv Element[DEC_auto-0x3f807254] MSG,type:20000,cmd:8,len:4,status:AEL_STATUS_STATE_RUNNING

I (58367) ESP_AUDIO_TASK: Received music info then on play

I (58368) ESP_AUDIO_TASK: On event play, status:UNKNOWN, 0

I (58374) AUDIO_THREAD: The Resample task allocate stack on external memory

I (58382) AUDIO_ELEMENT: [Resample-0x3f8075b8] Element task created

I (58391) AUDIO_ELEMENT: [Resample] AEL_MSG_CMD_RESUME,state:1

I (58395) AUDIO_ELEMENT: [OUT_iis-0x3f807414] Element task created

I (58402) AUDIO_ELEMENT: [OUT_iis] AEL_MSG_CMD_RESUME,state:1

I (58408) I2S_STREAM: AUDIO_STREAM_WRITER

I (58413) ESP_AUDIO_TASK: Recv Element[OUT_iis-0x3f807414] MSG,type:20000,cmd:8,len:4,status:AEL_STATUS_STATE_RUNNING

I (58567) RSP_FILTER: sample rate of source data : 44100, channel of source data : 2, sample rate of destination data : 2

I (58571) ESP_AUDIO_TASK: Recv Element[Resample-0x3f8075b8] MSG,type:20000,cmd:8,len:4,status:AEL_STATUS_STATE_RUNNING

I (58583) ESP_AUDIO_TASK: ESP_AUDIO status is AEL_STATUS_STATE_RUNNING, 0, src:0, is_stopping:0

I (58592) ESP_AUDIO_TASK: Func:media_ctrl_task, Line:860, MEM Total:4169352 Bytes, Inter:155804 Bytes, Dram:139972 Bytes



I (59139) MRM_CLIENT: ===== Send Sync =====

Version:ESP32 MRM/1.0

Tag:SYNC_PTS

TSF:5784716

Sync:533



I (59543) MRM_CLIENT: ===== Send Sync =====

Version:ESP32 MRM/1.0

Tag:SYNC_PTS

TSF:5785121

Sync:938



I (59947) MRM_CLIENT: ===== Send Sync =====

Version:ESP32 MRM/1.0

Tag:SYNC_PTS

TSF:5785525

Sync:1344



I (60350) MRM_CLIENT: ===== Send Sync =====

Version:ESP32 MRM/1.0

Tag:SYNC_PTS

TSF:5785929

Sync:1749
  • 从机开始播放，打印如下：
I (59095) MRM_EXAMPLE: slave set url https://dl.espressif.com/dl/audio/ff-16b-2c-44100hz.mp3

I (60563) HTTP_STREAM: total_bytes=2994349

I (60563) AUDIO_ELEMENT: [http-0x3f805e44] Element task created

W (60563) AUIDO_MEM: Can't support stack on external memory due to ESP32 chip is 1

I (60573) ESP_DECODER: Detect audio type is MP3

I (60577) MP3_DECODER: MP3 opened

I (60581) ADF_BIT_STREAM: The element is 0x3f806250. The reserve data 2 is 0x0.

I (60592) ESP_AUDIO_TASK: Recv Element[DEC_auto-0x3f806250] MSG,type:20000,cmd:8,len:4,status:AEL_STATUS_STATE_RUNNING

I (60607) ESP_AUDIO_TASK: Received music info then on play

I (60608) ESP_AUDIO_TASK: On event play, status:UNKNOWN, 0

W (60613) AUIDO_MEM: Can't support stack on external memory due to ESP32 chip is 1

I (60621) AUDIO_ELEMENT: [Resample-0x3f8065b4] Element task created

I (60629) AUDIO_ELEMENT: [Resample] AEL_MSG_CMD_RESUME,state:1

I (60634) AUDIO_ELEMENT: [OUT_iis-0x3f806410] Element task created

I (60641) AUDIO_ELEMENT: [OUT_iis] AEL_MSG_CMD_RESUME,state:1

I (60647) I2S_STREAM: AUDIO_STREAM_WRITER

I (60653) ESP_AUDIO_TASK: Recv Element[OUT_iis-0x3f806410] MSG,type:20000,cmd:8,len:4,status:AEL_STATUS_STATE_RUNNING

I (60800) RSP_FILTER: sample rate of source data : 44100, channel of source data : 2, sample rate of destination data : 2

I (60804) ESP_AUDIO_TASK: Recv Element[Resample-0x3f8065b4] MSG,type:20000,cmd:8,len:4,status:AEL_STATUS_STATE_RUNNING

I (60815) ESP_AUDIO_TASK: ESP_AUDIO status is AEL_STATUS_STATE_RUNNING, 0, src:0, is_stopping:0

I (60824) ESP_AUDIO_TASK: Func:media_ctrl_task, Line:860, MEM Total:4167400 Bytes, Inter:108288 Bytes, Dram:92456 Bytes



I (61554) MRM_EXAMPLE: slave got sync 601

I (61554) MRM_CLIENT: [sync] Sync 601 PTS 714 E2E_delay [68] sync diff [-13] ms

I (61964) MRM_EXAMPLE: slave got sync 1011

I (61965) MRM_CLIENT: [sync] Sync 1011 PTS 1024 E2E_delay [73] sync diff [-3] ms

相关资源

乐鑫科技 Espressif
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
博客
乐鑫 ESP RainMaker® 系列文章
10-18 549
​乐鑫科技 (688018.SH) 的 ESP RainMaker 为构建物联网生态提供了一个完整的云解决方案，打通了底层硬件（芯片和模组）、软件生态（ESP-IDF 物联网操作系统、Matter、语音助手、HMI 等）、云后端（基于 AWS 搭建）、移动端 APP、设备管理看板全链路，建立了一套开放、灵活、可私有部署的云基础设施。客户无需额外开发与维护，就能够便捷地基于 ESP RainMaker 现有资源构建物联网产品，以较低的投资成本、较少的研发投入、较短的时间探索产品多样性，并实现迭代。
博客
乐鑫 ESP-Mesh-Lite：轻松覆盖更大范围，连接更多设备
09-08 1024
创新性的 Wi-Fi Mesh 组网方案，使设备数量和覆盖区域不再受路由器容量和位置限制。
博客
乐鑫 Matter 系列文章
01-12 4510
随着人们对智能家居互联协议 Matter 的热情日益高涨，乐鑫工程师推出 Matter 系列博客，从多方面介绍并讨论 Matter 协议。
博客
乐鑫云方案研讨会回顾｜ESP RainMaker® 引领创业潮，赋能科创企业
06-24 921
乐鑫正以其开放的心态、创新的精神和共赢的理念，引领着一场科技创新的创业潮。未来，我们期待看到更多科技创新企业能够取得成功，在乐鑫和行业伙伴们的助力下，实现快速成长，共同开创智能科技的新篇章。
博客
乐鑫 Matter 技术体验日｜快速落地 Matter 产品，引领智能家居生态新发展
06-24 1069
具备完整的与 ESP RainMaker 整合的示例，借助 ESP RainMaker 的 Matter Fabirc功能，支持开发者快速完成 Matter 产品与云功能的集成，提供更好的产品体验。，乐鑫不仅积极推动了 Matter 的发展，而且通过其强大的硬件、软件和服务支持，确保开发者能够顺利集成并享受 Matter 1.3 带来的性能提升，以及更广泛的设备支持。：更适合没有深厚软件开发背景的团队。
博客
ESP32-C6 闪耀 Apple WWDC24｜使用 Embedded Swift 构建 Matter 设备
06-13 502
苹果公司基于 ESP32-C6 芯片，将乐鑫开源 ESP-IDF 和 ESP-Matter SDK 整合到了 Embedded Swift 中，成功实现了构建 Matter 设备的示例。
博客
ESP ZeroCode 新功能
05-16 647
​乐鑫信息科技 (688018.SH) 推出 ESP ZeroCode 已有 8 个月。在这几个月里，大家对 ESP ZeroCode 持续不断的兴趣和各种活动让我们忙得热火朝天。让我们一起来看看 ESP ZeroCode 新功能的一些亮点吧。
博客
线下研讨会 & 技术沙龙｜乐鑫芯片与 ESP RainMaker® 为科技初创企业赋能
05-11 1185
6 月 5-6 日 12:45，现场名额有限，欢迎提前报名锁定席位！
博客
通过 QEMU 试用 ESP32-C3 的安全功能
04-25 949
ESP32-C3 系列芯片支持可信启动、flash 加密、安全存储等多种安全功能，还有专用外设来支持 HMAC 和数字签名等用例。这些功能所需的私钥和配置大多存储在 ESP32-C3 的 eFuse 存储器中。启用安全功能时需要谨慎，因为使用到的 eFuse 存储器是一次性可编程存储器，烧写过程不可逆，安全功能最好先在试验场（比如模拟器）中测试，然后再转移到真实硬件上。本文讨论了如何在 QEMU（模拟器）中试用 ESP32-C3 中的不同安全功能。
博客
乐鑫科技收购创新硬件公司 M5Stack 控股权
04-22 465
这一战略举措对于物联网和嵌入式系统领域的两家公司来说都是一个重要的里程碑，也契合了乐鑫和 M5Stack 共同推动 AIoT 技术民主化的愿景。
博客
乐鑫发布 ESP32-H4：支持 802.15.4 和 Bluetooth 5.4 (LE) 的低功耗 SoC
04-11 979
ESP32-H4 在功耗、连接性能和内存扩展能力方面显著升级，可满足市场对低功耗无线设备日益增长的需求。芯片对最新 Bluetooth 5.4 (LE) 的支持也标志着乐鑫在自研低功耗蓝牙芯片领域的重大技术突破，将带来更丰富的应用可能性。
博客
乐鑫将携创新技术方案亮相嵌入式展 Embedded World 2024！
04-02 594
详解高性能 ESP32-P4，现场体验 ESP32-C5 和 ESP32-C61的 Wi-Fi 6 特性，更有丰富的私有云、Matter、HMI 和语音方案。
博客
3 月 4 日-5 月 3 日｜2024 乐鑫全球开发者大会演讲征集中！
03-04 262
DevCon24 将是您展现专业知识的绝佳机会！欢迎提交您的提案，加入我们，共创科技的未来。
博客
【USB 方案研讨会回顾】｜探索 USB 方案在 ESP32 系列芯片的应用
03-01 288
本研讨会聚焦于 USB 在乐鑫 ESP32 系列芯片中的创新应用。乐鑫技术专家以 USB 的标准和定义为切入点，就乐鑫 USB 外设及方案进行了详细的介绍，并展示了部分乐鑫 USB 方案 Demo 的功能与应用。如果您希望了解更多乐鑫 USB 方案的技术特点和应用领域，欢迎观看研讨会的视频回放了解详情。
博客
书籍推荐｜《使用 ESP32 开发物联网项目（第二版）》
02-29 674
​随着物联网技术的迅猛发展，ESP32 因其强大的功能而备受物联网开发者的青睐。在此背景下，资深物联网专家 Vedat Ozan Oner 撰写的《使用 ESP32 开发物联网项目（第二版）》，为开发者提供了全面且深入的指南读物。
博客
线上研讨会｜乐鑫 USB 方案赋能设备畅连、数据速递
02-21 951
乐鑫科技 (688018.SH) 宣布推出一系列，旨在为用户提供方便快捷的设备互连和数据传输方式。方案基于乐鑫 SoC（ESP32-S、ESP32-C、ESP32-P 系列），充分利用其标配外设之一 USB，通过支持 USB 2.0 OTG (On-The-Go) 或 USB-Serial-JTAG 接口，满足用户对主机 (Host) 和设备 (Device) 两种模式的多样需求。USB 2.0 OTG 技术使设备可以在主机和设备模式之间自由切换，实现了灵活而高效的连接方式；
博客
Arduino 推出基于乐鑫 ESP32-S3 的 STEM 教育机器人
02-01 860
Arduino Alvik 是基于乐鑫 ESP32-S3 开发，能够在 MicroPython 运行的一款功能丰富的小型机器人，适用于教育等领域。
博客
乐鑫与 Elektor 杂志合作推出特刊，聚焦 AIoT 创新
01-31 607
由乐鑫领衔编辑的 Elektor 杂志特刊已于近期出版，涵盖丰富的乐鑫项目和教程，旨在激发读者的创新灵感。
博客
Wi-Fi 6 超值畅享｜乐鑫发布 ESP32-C61 SoC
01-08 1058
ESP32-C61 集成 2.4 GHz Wi-Fi 6 和 Bluetooth 5 (LE)，支持 Matter，具备优化的外设、强化的连接性能和更大的存储选项，将在性能方面带来显著提升。
博客
CES 2024 倒计时｜乐鑫多款 SoC 首度揭秘，丰富 AIoT 方案等你解锁！
12-29 583
乐鑫科技 (688018.SH) 将携多款全新芯片 (ESP32-P4, ESP32-H4, ESP32-C61, ESP32-C5)、乐鑫 Wi-Fi 6 技术、新一代开源 AIoT 开发套件 ESP32-S3-BOX-3、ESP RainMaker 私有云方案、全面的 Matter 互联方案、HMI 和语音方案等重磅亮相 CES 2024，为客户快速构建行业领先且富有竞争力的物联网方案提供全面、专业的支持。这也意味着乐鑫以创新的前沿半导体技术和卓越的产品性能，赢得了全球市场的认可。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值