成熟的 XMOS 方案 ——「 XMOS 麦克风阵列 」

2021 年底,知名的音频芯片制造厂商 XMOS 正式发布了新一代芯片产品 XVF3610 ,这是一款语音接口的主控芯片,能够在复杂的噪声中提升了ASR语音识别率和会议通话质量的解决方案。

将语音接口(XVF3610)集成到智能 soundbar 音箱、电视、机顶盒、智能家电、网关产品中,享受高质量的语音通话和语音识别交互。

XVF3610 使用了 XMOS 的 xcore.ai 芯片基础架构,内置高性能的降噪算法和语音前端算法,是一款高性价比且易于集成的语音处理解决方案。

相比于上一代芯片,XVF3610 增加了⎾自动音频参考延迟校准⏌——这是支持语音的电视系统的一项关键功能——扩大了可以实现语音接口的设备和环境的范围。

不仅有功能增加,相比于上一代 XVF3510 芯片,XVF3610 在功耗、性能、价格、制作工艺等方面都有极大的提升。

▲  XVF3510 和 XVF3610 参数对比

XVF3610 是一款麦克风阵列处理芯片,XMOS 的麦克风阵列方案以其灵活性突破了传统 MCU 的 I/O 限制,配合噪声消除、回音消除等 DSP 算法来实现远场拾音等功能,为高性能的语音识别做好前端的优质处理。

在 XVF3610 还未发布之前,木瓜电子曾基于 XVF3510 设计打造了一款 P3510-2MIC开发版。

▲ P3510-2MIC 产品图

这款开发板作为前端信号处理,实现语音增强,可同时输出两路前端处理后的声音信号,颇受客户好评。

在 XVF3610 发布后,木瓜电子对此前的麦阵方案进行了升级。

▲ XVF3610 硬件框图

XVF3610 主控具有以下特性:

・XVF3610-QF60B-C, 免软件开发

・QFN-60封装

・300mW功耗

XMOS 2-mic 语音接口解决方案内置了2-mic阵列算法和复杂的DSP算法处理,能够在远处和嘈杂的环境,清晰地获取到有效的人声语音信号。

XMOS 2-mic 语音接口方案的主控为 XVF3610-QF60B-C, 且已经过了Amazon的AVS认证,其为单芯片解决方案,外接2个PDM麦克风即可实现2-mic阵列的前端声音信号处理。

XVF3610 内置的2-Mic算法能够在恶劣的声学环境中捕捉清晰的语音信号。

两种音频输出

ASR 和通话音频同时输出,既可用于语音识别,也可用于语音通话 

本方案重点能够同时处理两种方向的前端处理信号,分别为用于语音识别和会议通话,是市面上为数不多的能同时用于「语音识别」「会议通话」语音接口方案。

● 语音识别(ASR,Automatic Speech Recognition )

提供给语音识别云端引擎进行识别使用;ASR音频前端处理主要是为了提高云端语音识别率,所以其处理后,频谱会偏向饱满,这样尽大可能减小了音频失真。同时增强了人声,抑制了背景声和噪声。

● 会议通话(Comms, communication and calling )

Comms音频前端处理主要是为了提高人声的清晰度,同时做了较大的背景声和噪声抑制,频谱较为干净,相对ASR输出有较大的失真,不建议做语音识别用。

XMOS 2-mic 语音接口方案能够处理上文所述的3种噪声,和提供2种前端方向声音输出,极大地满足了多种场景和多种设备上进行使用。

三种噪声消除

  • AEC 消除设备自身声音
  • IC 消除空间内点噪声源
  • NS 消除背景噪声

XMOS 2-mic 语音接口的主控芯片 XVF3610 内部集成了 USB 2.0 PHY芯片,可以通过USB(UAC1.0协议)接口将处理后的语言信号传输给给智能设备(Host主机),其USB也完善了众多 HID report 协议,例如 keyboard、 telephone、consumer。

XVF3610 内置的 2-mic 算法能够在恶劣的声学环境中捕捉清晰的语音信号,其内置的算法包括:AEC、AGC、IC、NS、ADE延时估算等。

 AEC回音消除

消除设备自身的播放的声音,以实现能够语音打断和提高SNR 

 AGC自动增益控制

动态调整音频增益,或设定固定增益,使声音保持所需的输出电平

 IC噪声源消除

扫码设备所在的空间内的声音情况并且消除房间所有的点噪声 

● NS噪声抑制

去除所有的背景(包含发散的和反射的)噪声

● ADE自动时沿估算

动态调整音频参考信号,实现流畅、实时的的语音打断

▲ 录音测试示意图

XMOS 2-mic 的 IC 噪声源消除环节中,将非常有效地去除环境中的点噪声。

而自动延时估算算法环节,则能够更加灵活协助AEC参考信号的变动,以增大智能设备外置扬声器的可能性。

XMOS 2-mic 尤其针对ASR的前端处理进行优化,以极大提高语言识别率和语音打断(barge-in)的成功率,减小了适应各大语言识别引擎的调试工作量。经过上述的算法流程后,其输出的声音效果如上图所示。

在实际应用中,XVF3610 可以针对集成(Built-in)的和USB接口(Plug-in)的语音接口提供实现方式。

XVF3610 提供两套免开发(寄存器配置)的固件,来实现集成的方式和USB插入的方案。

● 集成( Built-in )的方式

Firmware: XVF3610-INT

方便设计到TV和机顶盒主板进行集成式设计,XVF3610的I2S作Slave模式连接到Host主控,并且使用I2C进行控制XVF3610的DSP方式。

・最低的eBOM成本(时钟和Flash由Host主控提供)

・能够实时在Host主控调整XVF3610的DSP参数

・较容易实现OTA远程升级固件

▲ XVF3610集成到主板的典型框图

● XVF3610能以小面积Layout集成设计到机顶盒主板中,主控以I2C接口控制XVF3610

● 存在TV或者条形音箱进行播放可能时,XVF3610的自动时延估算将会辅助AEC和语音打断功能 

● XVF3610的固件可以放在机顶盒主控中,以减小Flash的成本、面积,以及增加OTA的可能性

 USB 插入(plug-in)的方式

XVF3610-UA

一个完整的USB配件单品接入TV和机顶盒产品中, 并且能够通过USB的方式来传输音频信号,参考信 号和控制DSP参数。

・主控芯片可以通过USB控制XVF3610的所有GPIO

・HID 键码可以通过USB传输到Host主控

・能够实时在Host主控调整XVF3610的DSP参数

 ▲ XVF3610 USB dongle 插入TV智能电视

● XVF3610可以使用 USB Audio Class 1.0 (UAC1.0,免驱) 方式直连到电视 

● AEC参考信号通过TV电视的Line-out信号走Type-C线路提供给XVF3610 

● XVF3610内部的自动时延估算算法,可以自适应优化到最优的AEC效果

除了以上两种应用之外, XVF3610 还可以集成到电视、网关、摄像头等产品中。

 ▲ XVF3610集成设计到TV智能电视

● 根据DAC的输出特性,XVF3610 选择使用 I2S 或者增加 ADC(如虚线部分)进行获取AEC的参考信号

● 实际上,XVF3610 可以通过USB和I2S都可以来获取 AEC 参考型号

 ▲ XVF3610集成智能网关

● 可在 XVF3610 或者 WiFiSoc 内置离线语音控制识别模型,并且 XVF3610 提供清晰的语音信号

● XVF3610 免开发的固件,同时预留多个 GPIO 扩展,能够加速智能网关的产品上市

 ▲ XVF3610集成设计到USB摄像头

● XVF3610 使用USB(UAC1.0)免驱接入 PC 电脑中,作为 USB 声卡进行录音和播放

● XVF3610 高 SNR 语音通话输出(Commsoutput),能为 USB 摄像头提供高质量的语音通话

以上主要是两麦的解决方案,针对客户的不同需求,木瓜电子也有四麦解决方案支持。

XMOS 圆形4麦阵列-桌面会议

XMOS XVF3000芯片内置了4路麦克风阵列算法,包含了单声道回音消除,语音增强,波束成形,声源定位,噪声抑制和自动增益等算法,能够实现5米远的通话拾音,并且支持圆形麦克风阵型和USB 接口,非常符合桌面会议的通话拾音功能的应用产品。

XMOS 条形4麦阵列-视频通话

XMOS XVF3500内置了条形4路麦克风阵列算法,包含了立体声会议消除,语音增强,波束成形,噪声抑制和自动增益等算法,能够实现5米远的通话拾音,并且支持条形麦克风阵型和USB 接口,非常符合视频会议的通话拾音功能需求。


XMOS成立于2005年,总部在英国布里斯托,面向全球性销售,是一家多核架构芯片半导体原厂。XMOS是世界一流的音频和语音接口的方案领导者。XMOS于2016年分离出部分团队组建了Graphcore。

XMOS现在迅速转向AI人工智能领域,并目继续寻求高性价格比的嵌入式智能芯片(edge-Al)。

为了让语音成为主流,XMOS 继续基于芯片 xcore.ai 系列发布更多针对语音接口的解决方案。

早在 2017 年,XMOS 就发布了第一款麦克风阵列处理芯片——「XVF3000-TQ128-CA」,XMOS 组建了自己的算法团队和声学实验室,致力打造将科技带入生活。

基于XMOS 芯片的强大性能,木瓜电子为客户设计打造了一系列的麦阵解决方案,满足不同客户、不同应用场景的需求。

深圳市木瓜电子科技有限公司成立于2015年 ,是一家专注于提供音频芯片供应服务的芯片代理商和音频解决方案的技术提供商 。

木瓜电子现拥有国内最专业的XMOS技术人才,英国XMOS芯片原厂授权麦克风阵列产品线国内深度的合作伙伴。且已成为XMOS体系国内最大的芯片供应商,并且在Hi-Fi音频细分领域为领先的方案和芯片供应商。

我们以“让高端音质不再昂贵”为使命,旨在用专业技术为客户赋能,助力音频领域的客户多快好省产出产品。我们目前提供的产品和服务有四大板块:芯片供应,评估板,PCBA模块,固件定制。

/END

  • 2
    点赞
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
xmos driver指的是适用于XMOS处理器的驱动程序。XMOS是一种多核多线程的处理器架构,它强调实时性和低延迟性能。 xmos driver的作用是连接XMOS处理器和外部设备,使它们能够互相通信和协同工作。驱动程序通常由硬件厂商或第三方开发者编写,它们提供了一个接口,使操作系统或其他应用程序能够与XMOS处理器进行交互。 xmos driver通常具备以下功能: 1. 设备初始化和配置:驱动程序可以初始化XMOS处理器的各种资源,如IO口、定时器、中断等。通过配置这些资源,外部设备可以与XMOS处理器进行通信和交互。 2. 数据传输和处理:驱动程序可以提供数据传输的功能,使数据能够在XMOS处理器和外部设备之间进行传输。同时,驱动程序还可以对数据进行处理、加工和转换,以满足特定的需求。 3. 状态监测和错误处理:驱动程序可以监测XMOS处理器和外部设备的状态,以及错误的发生。一旦出现错误或异常情况,驱动程序可以进行相应的处理,如错误提示、自动修复等。 4. 驱动程序更新和升级:由于硬件和软件的不断发展,驱动程序也需要不断更新和升级。驱动程序可以提供自动更新的功能,以保证系统的稳定性和兼容性。 综上所述,xmos driver是一种专门为XMOS处理器设计的驱动程序,它能够实现XMOS处理器与外部设备之间的通信和协同工作。驱动程序具备设备初始化和配置、数据传输和处理、状态监测和错误处理、驱动程序更新和升级等功能。通过使用xmos driver,可以充分发挥XMOS处理器的实时性和低延迟性能,满足各种应用场景的需求。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值