AI-基于sherpa-onnx集成各SST、ASR、TTS模型

已于 2024-12-23 10:05:59 修改
阅读量1.5k 收藏 8
点赞数 12
分类专栏： AI 文章标签： SST ASR TTS sherpa-onnx 安卓
于 2024-12-23 10:03:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42137577/article/details/144658471
版权

目录

目标

步骤

下载安装Android Studio

下载安装sherpa-onnx

下载安装NDK

下载预编译的AI模型

编译生成APK

Pre-built APKs

目标

安卓平台上集成各SST、ASR、TTS预训练模型应用

步骤

1、下载安装Android Studio

https://developer.android.google.cn/studio?hl=zh-cn

image.png

2、下载安装sherpa-onnx

https://github.com/k2-fsa/sherpa-onnx

3、下载安装NDK

打开Android Studio，打开sherpa-onnx/android/SherpaOnnx.

image.png

image.png

image.png

设置环境变量ANDROID_NDK以供后续使用

export ANDROID_NDK=NDK路径

编译 sherpa-onnx (C++)

装完NDK，可以编译sherpa-onnx (C++)，以编译　arm64-v8a安卓ABI为例

cd sherpa-onnx # Go to the root repo
./build-android-arm64-v8a.sh

编完可以发现如下动态库

ls -lh build-android-arm64-v8a/install/lib/

-rw-r--r--  1 fangjun  staff    15M Jul 28 12:54 libonnxruntime.so
-rwxr-xr-x  1 fangjun  staff   3.7M Jul 28 12:54 libsherpa-onnx-jni.so

把它们拷贝到 android/SherpaOnnx/app/src/main/jniLibs/arm64-v8a/

image.png

Note：也可以直接在如下网址下载编译好的动态库并替换

https://github.com/k2-fsa/sherpa-onnx/releases

4、下载预编译的AI模型

以sherpa-onnx-streaming-zipformer-bilingual-zh-en-2023-02-20为例

如下网址找到该模型并下载

https://k2-fsa.github.io/sherpa/onnx/pretrained_models/index.html#sherpa-onnx-pre-trained-models

只保留如下文件并复制到asserts路径下

image.png

5、编译生成APK

OnlineRecognizer.kt文件中确认模型对应哪个入参，这里对应的是0

image.png

在MainActivity中修改type值为0

image.png

adb连接终端，build APK进去并运行看效果

Screenshot_20241221_161059.png

Pre-built APKs

在如下网址可以找到已有预编译的APK，可自行安装体验

https://k2-fsa.github.io/sherpa/onnx/android/prebuilt-apk.html

TTS声音合成：paddlespeech、sherpa-onnx、coqui-ai
weixin_42357472的博客
11-27 2098
中文下载链接：https://github.com/coqui-ai/TTS/releases/download/v0.6.1_models/tts_models–zh-CN–baker–tacotron2-DDC-GST.zip。参考：https://github.com/k2-fsa/sherpa-onnx/blob/master/python-api-examples/offline-tts.py。参考：https://modelscope.cn/models?coqui-ai/TTS 语音合成。
开源模型应用落地-sherpa-onnx-AIGC应用探索（十）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
09-09 2683
使用sherpa-onnx，一站式解决各种语音难题。
sherpa-onnx流式ASR模型
09-26
sherpa-onnx流式ASR模型 或者去sherpa官网下载对应模型 模型名 sherpa-onnx-streaming-zipformer-bilingual-zh-en-2023-02-20
【离线语音助手】Xamarin From Android 语音识别 合成 sherpa-onnx（完整版）
最新发布
weixin_45809638的博客
02-24 894
【离线语音助手】Xamarin From Android 语音识别 合成 sherpa-onnx （完结版）
Android 使用开源项目Sherpa的关键词检测（语音唤醒）
wqjcsdn的博客
01-09 1492
sherpa是一个基于下一代 Kaldi 和 onnxruntime 的开源项目，专注于语音识别、文本转语音、说话人识别和语音活动检测（VAD）等功能。该项目支持在没有互联网连接的情况下本地运行，适用于嵌入式系统、Android、iOS、Raspberry Pi、RISC-V 和 x86_64 服务器等多种平台。现在很多语音识别都要收费了，之前用过免费的云知声也收费了，之前只使用过 它的TTS，还有免费的离线sdk，现在要做语音唤醒(关键词检测)。关键就这三个部分jar、assets、jni。
将sherpa-onnx嵌入unity中进行语音识别（ASR）
fasd385sd的博客
12-07 1679
是一个开源项目，旨在提供离线的语音识别、文本转语音、说话人识别和语音活动检测（VAD）功能。该项目支持很多语言，其中包括C#，在原项目文件中有C#示例，因此可以移植到unity中，本文参考了sherpa-onnx的TTS实现和原项目C#示例代码。首先该项目进行语音识别需要语音识别大模型，我这边以模型作为测试，要下载该模型请自行去该项目的官方网址去下载。​然后需要导入相关dll库和lib库，我在原项目文件中找了很久都没找到，最后在他的示例项目中找到。现在万事俱备，接下来可以开始了。
强大而全面的语音处理工具——Sherpa-Onnx
gitblog_00354的博客
08-10 2055
强大而全面的语音处理工具——Sherpa-Onnx 项目地址:https://gitcode.com/gh_mirrors/sh/sherpa-onnx 在人工智能的浪潮中，语音技术已成为连接人机的重要桥梁。今天，我们要向您隆重推荐一个开源宝藏——Sherpa-Onnx，一个集多种语音功能于一体的强大本地运行库，完美适配从服务器到边缘设备的各种场景。 项目介绍 Sherpa-Onnx 是一款开源的...
sherpa-onnx 安装和配置指南
gitblog_07717的博客
09-13 3542
sherpa-onnx 安装和配置指南 sherpa-onnx k2-fsa/sherpa-onnx: Sherpa-ONNX 项目与 ONNX 格式模型的处理有关，可能涉及将语音识别或者其他领域的模型转换为 ONNX 格式，并进行优化和部署。 ...
【开发语音助手】android 语音识别、合成、唤醒 sherpa
这个人很懒什么都没有~
10-19 5942
前面介绍了 android 部署大模型，下一步就是语音处理，这里我们选用 sherpa 开源项目部署语音识别、合成、唤醒等模型。离线语音识别库有whisper、kaldi、pocketshpinx等，在了解这些库的时候，发现了所谓“下一代Kaldi”的sherpa。从文档和模型名称看，它是一个很新的离线语音识别库，支持中英双语识别，文件和实时语音识别。sherpa是一个基于下一代 Kaldi 和 onnxruntime 的开源项目，专注于语音识别、文本转语音、说话人识别和语音活动检测（VAD）等功能。
开源项目推荐：sherpa-onnx
gitblog_07718的博客
09-13 1790
开源项目推荐：sherpa-onnx sherpa-onnx k2-fsa/sherpa-onnx: Sherpa-ONNX 项目与 ONNX 格式模型的处理有关，可能涉及将语音识别或者其他领域的模型转换为 ONNX 格式，并进行优化和部署。 ...
sherpa-onnx文字转语音TTS >vits-icefall-zh-aishell3模型
11-26
sherpa-onnx集成了多种前沿的TTS模型，其中包括了vits-icefall-zh-aishell3模型，这是一个针对中文语言特点设计的模型，它能够将中文文本流畅地转换为自然度很高的语音输出。 vits-icefall-zh-aishell3模型的推理...
Android整合SherpaNcnn实现离线语音识别（支持中文，手把手带你从编译动态库开始）示例Demo及动态库
03-20
Android整合SherpaNcnn实现离线语音识别（支持中文，手把手带你从编译动态库开始）示例Demo及动态库
Android整合SherpaNcnn实现离线语音识别（支持中文，手把手带你从编译动态库开始） 对应jniLibs动态库
03-20
Android整合SherpaNcnn实现离线语音识别（支持中文，手把手带你从编译动态库开始） 对应jniLibs动态库
java调用sherpa-onnx 文字转换语音TTS 镜像离线部署直接调用，已经编译好相关文件和模型
11-26
java调用sherpa-onnx 文字转换语音TTS 镜像部署直接调用，已经编译好相关文件和模型， sherpa-onnx 是一个基于下一代 Kaldi 和 onnxruntime 的开源项目，专注于语音识别、文本转语音、说话人识别和语音活动检测（VAD...
中文语音唤醒模型sherpa-onnx-kws-zipformer-wenetspeech-3.3M-2024-01-01 (C
03-01
具体使用可以参考https://cnloong.blog.csdn.net/article/details/136399563?spm=1001.2014.3001.5502
【离线语音助手】Xamarin From Android 语音识别 合成 sherpa-onnx
weixin_45809638的博客
02-18 948
xamarin from 通过 sherpa-onnx 实现离线语音识别、语音合成
sherpa-onnx 项目教程
gitblog_00311的博客
08-10 1117
sherpa-onnx 项目教程 项目地址:https://gitcode.com/gh_mirrors/sh/sherpa-onnx 项目介绍 sherpa-onnx 是一个基于 next-gen Kaldi 的语音识别、文本转语音和说话人识别项目，使用 onnxruntime 进行本地处理，无需互联网连接。该项目支持多种平台和编程语言，包括 Android、iOS、Raspberry Pi、R...
Android整合SherpaNcnn实现离线语音识别（支持中文，手把手带你从编译动态库开始）
qq_27868819的博客
03-20 3514
经过一番折腾后，终于实现了想要的效果。经过一番的测试，发现运行的表现还不错，因此这里记录一下。
snowboy+新一代kaldi（k2-fsa）sherpa-onnx实现离线语音识别【语音助手】
热门推荐
殷长庆的博客
08-08 1万+
本系列主要目标初步完成一款智能音箱的基础功能，包括语音唤醒、语音识别(语音转文字)、处理用户请求（比如查天气等，主要通过rasa自己定义意图实现）、语音合成(文字转语音)功能。语音识别、语音合成采用离线方式实现。语音识别使用sherpa-onnx，可以实现离线中英文语音识别。本文用到的一些安装包在snowboy那一篇的必要条件中已经完成了部分构建，在离线语音识别安装完成之后也会把相关代码写道snowboy项目中，语音唤醒之后调用语音识别翻译用户说话的内容。
android整合sherpa-onnx
10-17
Sherpa ONNX是一个用于将ONNX模型部署到移动设备（如Android）的工具包。ONNX是一种跨平台的机器学习模型交换格式，而Sherpa则是Facebook开源的一个轻量级模型优化和量化库。要在Android上整合Sherpa ONNX，你可以按照以下步骤操作： 1. **安装依赖**：首先，你需要在项目中添加Sherpa和ONNX的相关依赖，通常通过Gradle将`com.facebook.sherpa:lib`和`com.facebook.onnx:onnx`库引入。 ```groovy dependencies { implementation 'com.facebook.sherpa:lib:<latest_version>' implementation 'com.facebook.onnx:onnx:<latest_version>' } ``` 记得替换 `<latest_version>` 为实际版本号。 2. **加载模型**：使用Sherpa的API从ONNX文件加载模型，并可能对模型进行优化或量化以适应移动设备资源限制。 ```java Model model = Model.loadFromOnnxFile("path_to_your_model.onnx"); Optimization optimization = new Optimization(model); optimizedModel = optimization.optimize(); ``` 3. **转换为TensorFlow Lite或TFLite Micro**：Sherpa支持将优化后的模型转换为TensorFlow Lite（tflite）格式，然后可以在Android平台上使用。 ```java Converter converter = new TfliteConverter(optimizedModel); byte[] tfliteModel = converter.convertToTflite(); ``` 4. **保存和加载模型**：最后，将生成的TFLite模型保存到Android应用的Assets目录或存储空间，然后在运行时动态加载并使用。 5. **在Android应用中使用**：利用Android的TensorFlow Lite API，在应用程序中加载并运行转换后的模型进行推理。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值