旭日X3派:实时语音识别

给大家分享一个基于 新一代 Kaldi 的子项目 sherpa-onnx 在 x3 派上进行语音识别的例子. (完全开源、完全免费

1. 安装


下面这个截图演示了如何安装 sherpa-onnx
 


可以去 https://pypi.org/project/sherpa-onnx/1.9.8/#files下载需要的 whl

(请永远下载最新的。截图里用的是 1.7.11, 上面链接是 1.9.8. 当你看到本文的时候,版本可能又更新了。请去

https://pypi.org/project/sherpa-onnx/#history 查找最新的版本)



如果你的板子可以联网,那么你只需要 运行

pip install sherpa-onnx




2. 下载模型


可以去
https://k2-fsa.github.io/sherpa/onnx/pretrained_models/index.html
下载一个适合你的模型。

下面截图显示了 streaming zipformer 和 non-streaming paraformer 模型在 x3 排上的 RTF.

 


3. 实时识别



如果你想进行实时的语音识别,比如,读去麦克风,边说话边识别,请参考
https://k2-fsa.github.io/sherpa/onnx/install/index.html
从源码编译 sherpa-onnx, 你会得到一个 binary: sherpa-onnx-alsa, 它支持读取麦克风,进行实时的识别.




4. 文档及帮助


文档: https://k2-fsa.github.io/sherpa/onnx/index.html

帮助: 请在 github 对应的 repo 提 issue, 或者从文档中找到我们的联系方式,联系我们.
 




地平线旭日 x3 派 实时语音识别 分享

### RDKX3 数据集采集方法与资源 对于RDKX3的数据集采集,主要依赖于设备内置的传感器以及外部扩展模块来获取所需数据。由于RDK X3配备了高性能的地平线旭日3系列智能芯片,具备强大的边缘计算能力[^1],这使得复杂的数据处理可以直接在本地完成。 #### 使用摄像头进行图像数据收集 为了有效利用RDKX3的强大性能来进行视觉数据分析,通常会采用USB或MIPI接口的摄像头作为输入源。这类应用广泛存在于自动驾驶辅助系统、智能家居监控等领域。具体操作如下: ```bash v4l2-ctl --list-devices # 查找连接至系统的摄像装置 ffmpeg -f v4l2 -i /dev/video0 output.mp4 # 录制视频流保存为文件 ``` #### 集成麦克风阵列捕捉音频样本 除了视觉信息外,声音也是重要的感知维度之一。借助多通道声学传感组件,可以构建语音识别模型训练所需的语料库。例如,在安静环境下录制清晰的人类对话片段用于ASR(自动语音识别)算法优化。 #### 外接环境监测仪器扩充感知范围 考虑到某些特定应用场景的需求,还可以通过GPIO或者其他通信协议接入温湿度计、气压表等物理量检测工具,从而丰富特征空间维度,提高机器学习预测精度。 针对以上提到的各种类型的信号采样过程中的同步控制机制设计尤为关键;另外需要注意的是,所有原始素材都应妥善标注时间戳以便后续分析阶段追溯事件发生顺序。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值