概述
高通®智能音频解决方案旨在结合卓越的音质、人工智能(AI)和连接性,以提供先进的语音用户界面、出色的音频体验和尖端的电源管理。
音频系统由以下硬件和软件组件组成:
- 应用处理器:高效的CPU,负责音频处理任务,如管理音频播放和录制用例、解码音频格式,并将后处理任务卸载到低功耗AI(LPAI),以实现高质量的音频输出。
- 低功耗AI(LPAI)子系统:运行音频播放/录音和语音激活(VA)算法,集成专用高通®Hexagon™处理器(QDSP6)和低功耗岛(LPI),配备集成数字音频编码器。
- Hexagon v66M处理器:在Turbo模式下可运行高达1.4 GHz。
- 2个集群/4个硬件线程:每个集群2个线程。
- 音频数字编码器:由VA核心、编码核心和WSA核心组成。
- LPAI子系统中的硬件AI加速器:支持基于机器学习的处理卸载。
- VA核心:包含数字麦克风接口和用于语音激活的降采样链。
- 编码核心:包含降采样链、插值链和SoundWire主接口,用于与外部模拟编码器、模拟麦克风/数字麦克风和手持扬声器连接。
- WSA核心:包含插值链和SoundWire主接口,以连接外部模拟编码器扬声器。
- 立体声通道扬声器AMP支持:使用WSA883X。
- WCN芯片:通过SLIMbus接口提供蓝牙支持。
入门
本节提供有关麦克风/扬声器连接硬件配置的说明,并概述验证基本音频用例的步骤。
准备
- 按照高通Linux构建指南设置基础设施。
- 将最新的软件版本刷新到RB3 Gen 2开发板。
- 设置SSH连接:
1, 按照《如何SSH?》中的步骤在宽松模式下启用SSH。
2. 通过运行以下命令连接到设备:
例如,如果设备的IP地址是10.92.160.222,请运行以下命令:ssh root@<device_IP_address>
ssh root@10.92.160.222
设置音频硬件
- 要在板上激活数字麦克风接口(DMIC),请使用DIP 2。将PIN 2切换到ON位置。
- 将扬声器连接到RB3 Gen 2板。
运行音频
PA 录音
-
运行以下命令:
setenforce 0 pactl set-source-port regular2 handset-mic parec -v --rate=48000 --format=s16le --channels=1 --file-format=wav /opt/test.wav -- device=regular2
命令行界面应类似于以下内容:
- 按 Ctrl + C 停止录音。
支持的格式包括s16le、s24le、s32le、s24-32le,采样率可以是8000、16000、22050、24000、32000、44100、48000、88200、96000、17640、19200、35280和38400。
PA 播放
-
运行以下命令将 .wav 文件推送到设备:
setenforce 0 scp test.wav root@[ip-addr]
命令行界面应类似于以下内容:
-
推送 test.wav 文件后,通过以下命令进入设备的shell:
ssh root@ip-addr
-
使用以下命令进行播放:
setenforce 0 paplay /opt/test.wav -v
命令行界面应类似于以下内容:
音量设置
-
使用 paplay 实用程序开始在扬声器上播放。
-
同时打开一个新的命令提示符,打开 ssh root@ip-addr,然后运行以下命令:
setenforce 0 pactl set-source-volume regular2 <volume level>
varies from 0 to 65535.
功能点
音频子系统的主要有以下的特性
LPAI硬件
低功耗AI子系统是下一代高通®硬件架构,专门用于低功耗、始终在线的音频处理场景。它利用专用的基于硬件的AI加速器来卸载基于机器学习的工作负载。
音频输入输出接口
高通开发套件支持如I2S、TDM、DMIC等音频输入输出接口。它提供可用于将外设连接到设备的I/O连接。GPIO引脚分配可以从I/O接口部分推断出来。
数字麦克风/音频捕获
连接到位于LPAI硬件中的数字编码器的数字麦克风支持音频数据的捕获。
扬声器放大器/音频播放
支持2个WSA8835 Aqstic类D智能扬声器放大器。WSA扬声器放大器通过SoundWire接口连接到设备。
Fluence
低功耗回声消除和噪声抑制(ECNS)解决方案,提供清晰的声音。能够提供更好的非静态噪声抑制和更高的信噪比改善(SNRi)。
后处理特性
音频软件支持音频数据后处理功能,如MBDRC、IIR、上混、限制器、DRC、增强音频噪声抑制(EANS)等。
支持的音频解码器和编码器
类别 | 编码器 | Gstreamer支持 |
---|---|---|
解码 | MP3 | Yes |
解码 | Vorbis | Yes |
解码 | FLAC | Yes |
解码 | OGG | Yes |
编码 | PCM | Yes |
编码 | FLAC | Yes |