采用Unity导出讯飞离线语音听写APK

最新推荐文章于 2024-07-10 18:57:02 发布
最新推荐文章于 2024-07-10 18:57:02 发布
阅读量1.3k 收藏 7
点赞数 1
分类专栏： 研究
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32712279/article/details/104691921
版权

说明：讯飞离线语音听写目前只有Android平台，当前时间是2020年03月06号，本博客介绍使用Unity来搭建这个demo作为测试

Unity导出离线语音听写apk

描述：采用讯飞的离线语音SDK在unity上进行导出
条件：需要注册讯飞开放平台账号，Android Studio，Unity
原理：使用Android Studio导出AAR包给Unity，在Unity上进行操作控制

第一步：你得注册一个账号用来下载SDK

默认你已经注册好了，你需要注意免费试用是有时间限制的。
在这里插入图片描述
现在看看它下载下来的样子：
在这里插入图片描述

第二步：在Android Studio上的处理

1. 建立一个工程

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
下面不使用布局文件，Generate Layout File 不勾选
在这里插入图片描述
很好，接下来调成Project模式，你的结构如下
在这里插入图片描述

2. 新增一个模块

在这里插入图片描述
在这里插入图片描述
填写库名，模块名，这里也有一个包名，记住它，接下来所有的操作都将在这个模块里完成
在这里插入图片描述
在这里插入图片描述

3. 添加第三方资源

找到从讯飞下载下来的文件夹，找到libs，选择这两项，添加到模块iatlibrary/libs
里面
在这里插入图片描述
在Unity安装目录下找到这个jar包,同样的添加到模块iatlibrary/libs.
在这里插入图片描述
然后再去sample里找到JsonParse这个文件，添加到iatlibrary/src/main/java/你的包名 下面
在这里插入图片描述
现在你的项目里是这样的
在这里插入图片描述
接下来把classes.jar和Msc.jar以库文件的形式进行添加
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
这是完成后的样子
在这里插入图片描述
AndroidStudio要添加的东西完成了，接下来是写东西和导出AAR包

4. 写代码（活动）

在这里插入图片描述
代码如下：

package com.zy.iatlibrary;

import android.os.Bundle;
import android.widget.Toast;

import com.iflytek.cloud.ErrorCode;
import com.iflytek.cloud.InitListener;
import com.iflytek.cloud.RecognizerListener;
import com.iflytek.cloud.RecognizerResult;
import com.iflytek.cloud.SpeechConstant;
import com.iflytek.cloud.SpeechError;
import com.iflytek.cloud.SpeechRecognizer;
import com.iflytek.cloud.SpeechUtility;
import com.iflytek.cloud.util.ResourceUtil;
import com.unity3d.player.UnityPlayer;
import com.unity3d.player.UnityPlayerActivity;

/**
 * Created by zy on 2020/3/6.
 */

public class Iat extends UnityPlayerActivity{
    private SpeechRecognizer mIat;
    private String result= "";
    private String mEngineType = SpeechConstant.TYPE_LOCAL;

    @Override
    protected void onCreate(Bundle savedInstanceState)
    {
        super.onCreate(savedInstanceState);
        SpeechUtility.createUtility(this, SpeechConstant.APPID + "=9y35h930h");
        mIat = SpeechRecognizer.createRecognizer(this, mTtsInitListener);
        if(mIat==null)
        {
            Toast.makeText(Iat.this,"对象为空，检查是否有jet资源",Toast.LENGTH_LONG).show();
            return;
        }
        else
        {
            mIat.setParameter(SpeechConstant.PARAMS,null);
            mIat.setParameter(SpeechConstant.ENGINE_TYPE,mEngineType);
            if (mEngineType.equals(SpeechConstant.TYPE_LOCAL))
            {
                mIat.setParameter(ResourceUtil.ASR_RES_PATH,getResourcePath());
            }
            mIat.setParameter(SpeechConstant.LANGUAGE, "zh_cn");
            mIat.setParameter(SpeechConstant.KEY_SPEECH_TIMEOUT, "20000"); //语音输入超时时间 设置录取音频的最长时间
            mIat.setParameter(SpeechConstant.VAD_BOS,"3000"); //开始录入音频后，音频前面部分最长静音时长
            mIat.setParameter(SpeechConstant.VAD_EOS, "2000"); //开始录入音频后，音频后面部分最长静音时长
        }
    }

    //Unity调用这个方法
    public void StartListening(String str)
    {
        Toast.makeText(Iat.this,str,Toast.LENGTH_LONG).show();
        int ret = mIat.startListening(mRecognizerListener);
        UnityPlayer.UnitySendMessage("GameObject","OnStartListening",String.valueOf(ret));
    }


    /**初始化监听**/
    private InitListener mTtsInitListener = new InitListener()
    {
        @Override
        public void onInit(int i)
        {
            if (i!= ErrorCode.SUCCESS)
            {
                Toast.makeText(Iat.this,"初始化失败，错误码：" + i+",请点击网址https://www.xfyun.cn/document/error-code查询解决方案",Toast.LENGTH_LONG).show();
            }
            UnityPlayer.UnitySendMessage("GameObject","OnStartListening",String.valueOf(i));
        }
    };

    private RecognizerListener mRecognizerListener =new RecognizerListener() {
        @Override
        public void onVolumeChanged(int i, byte[] bytes) {

        }

        @Override
        public void onBeginOfSpeech()
        {
            UnityPlayer.UnitySendMessage("GameObject","OnBeginOfSpeech","");
        }

        @Override
        public void onEndOfSpeech()
        {
            UnityPlayer.UnitySendMessage("GameObject","OnEndOfSpeech","");
        }

        @Override
        public void onResult(RecognizerResult recognizerResult, boolean b)
        {
            result+= JsonParser.parseIatResult(recognizerResult.getResultString());
            if(b)
            {
                UnityPlayer.UnitySendMessage("GameObject","OnResult",result);
                result = "";
                mIat.stopListening();
            }
        }

        @Override
        public void onError(SpeechError speechError)
        {
            UnityPlayer.UnitySendMessage("GameObject","OnError",speechError.getErrorCode()+"");
        }

        @Override
        public void onEvent(int i, int i1, int i2, Bundle bundle) {

        }
    };

    private String getResourcePath()
    {
        StringBuffer tempBuffer = new StringBuffer();
        tempBuffer.append(ResourceUtil.generateResourcePath(this,ResourceUtil.RESOURCE_TYPE.assets,"iat/common.jet"));
        tempBuffer.append(";");
        tempBuffer.append(ResourceUtil.generateResourcePath(this,ResourceUtil.RESOURCE_TYPE.assets,"iat/sms_16k.jet"));
        return tempBuffer.toString();
    }
}

不懂的查API：http://mscdoc.xfyun.cn/android/api/
如果之后报了出错码到这里查：https://www.xfyun.cn/document/error-code
代码很简单，有面向对象语言基础的都能看懂，说明一下：
这一条后面的9y35h930h是指你的appid，第一部分就圈了，你的换成自己的。

SpeechUtility.createUtility(this, SpeechConstant.APPID + "=9y35h930h");

UnityPlayer.UnitySendMessage(unity中对象名称,挂在对象上面脚本的方法,要传递的参数，没有就不写);

还有一点，JsonParse里的包名记得换成你的模块里的包名：
在这里插入图片描述

5. 修改AndroidManifest.xml

在这里插入图片描述
懂的自然懂，不懂的以后会懂

<manifest xmlns:android="http://schemas.android.com/apk/res/android"
          package="com.zy.iatlibrary"
          android:versionCode="1"
          android:versionName="1.0" >
    <uses-permission android:name="android.permission.RECORD_AUDIO" />
    <uses-permission android:name="android.permission.INTERNET" />
    <uses-permission android:name="android.permission.ACCESS_NETWORK_STATE" />
    <uses-permission android:name="android.permission.ACCESS_WIFI_STATE" />
    <uses-permission android:name="android.permission.CHANGE_NETWORK_STATE" />
    <uses-permission android:name="android.permission.READ_PHONE_STATE" />
    <uses-permission android:name="android.permission.ACCESS_FINE_LOCATION" />
    <uses-permission android:name="android.permission.READ_CONTACTS" />
    <uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE" />
    <uses-sdk
        android:minSdkVersion="19"
        android:targetSdkVersion="24" />

    <application android:allowBackup="true"
                 android:supportsRtl="true">
                 <activity
                     android:name=".Iat">
                     <intent-filter>
                     <action android:name="android.intent.action.MAIN"/>
                     <category android:name="android.intent.category.LAUNCHER" />
                     </intent-filter>
                     <meta-data android:name="unityplayer.UnityActivity" android:value="true"/>
                  </activity>
    </application>
</manifest>

6.导出AAR

在这里插入图片描述
等待重构完成，再点击这个
在这里插入图片描述
我们看到建立的aar包已经完成了
在这里插入图片描述
在文件夹中打开
在这里插入图片描述
libs里面有classes.jar包，删除它，把外面这个classes.jar放进去，你发现libs里面没有armeabi-v7a，在你项目里找到它拷贝进去完成后进行下一步
在这里插入图片描述
留下这四个文件，待会要拷贝到Unity里面。
在这里插入图片描述

第三步：Unity中要做的事

1. 搭界面

建立工程搭建界面：
在这里插入图片描述

2. 放资源

建立一个文件夹Plugins/Android,刚刚的文件放进去
在这里插入图片描述

在之前下载的讯飞包里找到这两个文件然后放入Unity Assets/Android/Plugins/assets/iat里
在这里插入图片描述
补充一下：
打开Unity里刚刚导入的AndroidMainfest.xml,添加这两行，不然待会你在Unity里设置的名称和图标会无用
在这里插入图片描述

3.敲代码

新建一个脚本：

using System.Collections;
using System.Collections.Generic;
using UnityEngine;
using UnityEngine.UI;

public class Iatdemo : MonoBehaviour
{
    private AndroidJavaClass ajc;
    private AndroidJavaObject ajo;

    public Button startBtn;
    public Button exitBtn;
    public Text resultText;

    private void Awake()
    {
        startBtn = GameObject.Find("Canvas/Button").GetComponent<Button>();
        exitBtn = GameObject.Find("Canvas/Button_2").GetComponent<Button>();   
        resultText = GameObject.Find("Canvas/Text").GetComponent<Text>();
        
    }

    // Use this for initialization
    void Start ()
    {
        ajc = new AndroidJavaClass("com.unity3d.player.UnityPlayer");
        ajo = ajc.GetStatic<AndroidJavaObject>("currentActivity");
        if (startBtn)
        {
            startBtn.onClick.AddListener(()=> { StartListening(); } );
        }
        if (exitBtn)
        {
            exitBtn.onClick.AddListener(()=> { Quit(); });
        }
 
	}

    public void StartListening()
    {        
        ajo.Call("StartListening", "点击了监听");
    }
  
    public void OnStartListening(string ret)
    {
        int result = int.Parse(ret);
        startBtn.interactable = result == 0;
    }

    public void OnResult(string result)
    {
        resultText.text = result;
    }

    public void OnError(string errorMessage)
    {
        resultText.text = errorMessage;
    }

    public void OnEndOfSpeech()
    {
        startBtn.GetComponentInChildren<Text>().text = "点击倾听";
        startBtn.interactable = true;
    }

    public void OnBeginOfSpeech()
    {
        startBtn.GetComponentInChildren<Text>().text = "倾听中";
        startBtn.interactable = false;
    }


    public void Quit()
    {
        Application.Quit();
    }
}

将这个脚本挂载在GameObject上

4.导出apk

这里的包名记得和之前AS里面的模块里的包名是一致的，这里的应用名称和应用图标也填一下，之前在xml里如果没有新增那两条的话，这里填了也没有用
在这里插入图片描述
接下来点击Build然后把apk安装在android上

小艺超级不吃辣
关注
专栏目录
Unity 接讯飞离线语音识别
BDDNH的博客
12-04 2784
Unity 接入讯飞离线SDK , 有一些坑记录一下。 在开发者平台注册之后，申请应用，下载SDK包。这个sdk包和你的appid是对应的，不能使用别人的sdk包，然后用自己的appid 这是SDK文件夹，sample是一个示例工程，将libs文件中jar文件放入AndroidStudio中的libs中 新建jni文件夹，然后放入对应so文件 文件夹中assets文件放入An...
Unity + 讯飞语音听写（流式版）API
07-20
Unity的使用讯飞API的语音听写Demo； 请阅读Demo中的README.md； 原型在讯飞论坛上且暂时找不到了，这边加以修改以集成到Unity中并适应于自己的项目。
Unity中接入讯飞语音（实时语音转写）WebAPI（非SDK）
最新发布
weixin_43298513的博客
07-10 589
该功能可在PC和移动端通用。
unity 接入讯飞语音听写的SDK
weixin_43839583的博客
03-20 1486
获取讯飞语音听写的APPID 讯飞开放平台的网址：https://www.xfyun.cn/ 进入讯飞开放平台注册登录后，创建应用，取得所需的APPID 然后找到对应的语音听写的SDK进行下载，我下载后的文件夹名称是Android_iat1140_5e70aa24 测试下讯飞自带的SDK效果 我们先AndroidStudio创建一个新Empty Activity的工程。然后导入前面下载的SDK里面...
Unity 科大讯飞离线语音合成
VAIN的博客
11-04 2889
好久没有更新文章了，今天我们继续更新科大讯飞的语音的文章。 之前在语音合成部分由于在线语音合成的处理时间太长，所以使用了C#自带的语音合成，处理是快了，但是合成的声音特别难听。 所以今天更新一个离先语音合成的文章。 废话不多说，直接进入正题。 1.下载语音合成SDK，需要选择离线的，否者无法使用离线的。 2.解压SDK，这里我们需要用到common.jet；xiaofeng.jet；xiaoyan.jet这三个.jet文件必须要，缺一不可，否则会报错误代码：文件缺失。然后就是msc_x64.dll库。 3.
unity3d+讯飞API语音识别听写
09-14
利用unity3d和讯飞开放平台的websocket 接口实现语音识别，经过测试可以在PC，安卓等平台使用。
离线语音听写
weixin_34248258的博客
08-21 341
离线语音听写 科大离线语音听写需要安装语记（曾用名-语音+），暂时不支持离线包，可能是因为库会比较大。 效果图 源码 下载地址：http://download.csdn.net/detail/q4878802/9032149 步骤 1. 开通语音听写服务 2. 下载SDK 选择服务 选择平台 选择应用 3. ...
讯飞离线语音命令词+TTS离线发音，实现命令词交互（windows dll for unity插件）工程文件
11-09
包含文件 ToSpeech.cs Unity脚本文件 tts_offline_sample.c 讯飞发音...xunfei_speech 讯飞语音库模型等文件，测试时候放到C盘目录下 相关使用说明 https://blog.csdn.net/lijiefu123456/article/details/109568797
讯飞离线语音命令识别测试
09-14
讯飞离线语音命令识别技术主要基于深度学习模型，如卷积神经网络（CNN）和长短期记忆网络（LSTM），这些模型在大量语音数据上训练得到，能够高效地理解和处理特定的语音命令。在DEMO测试中，开发者通常会创建一个...
Unity3D：讯飞实现语音识别功能语音转文字（Windows）
07-26
科大讯飞语音识别功能还是很强大的，之前一直在做移动端的语音识别功能，一直没弄过Windows平台的，在网上找了很多别人写的功能，然后自己整理了一下。 其实就是把讯飞的window平台的C/C++接口转换成C#能调用的接口，利用DllImport将封装在C/C++里的部分用到的函数转换为C#可以直接调用的函数 首先创建一个MscDLL类，将C/C++的接口转换为C#，然后把C语言头文件msp_errors.h中的错误以及各种状态封装到该类中。下面是代码。
Unity 接入科大讯飞语音识别及语音合成
热门推荐
当代野生程序猿
07-29 1万+
首先需要到科大讯飞官网开发者控制台创建一个应用，创建成功后获得服务接口认证信息，我们只需用到其中的AppID。 其次需要下载自己的SDK，一些小伙伴非常擅长在网上找资源，把别人的拿过来，然后发现调用不起来，注意一定要下载自己的SDK使用，因为其中的AppID是对应的。 将SDK导入到Unity工程中，在bin文件夹下可以看到dll动态库，我们在脚本中使用DllImport调用动态库中的接口。 封装MSCDLL类： using System; using System.Runti
Unity 接入讯飞语音识别包(Android)
07-25
Unity 接入讯飞语音识别包，实现语音识别，包含Unity 项目工程和Android安装包
unity语音识别
11-28
游戏语音识别项目，帮助大家进行游戏语音识别的学习，为自己的项目添加风采
unity讯飞语音识别demo（windows平台）
07-20
unity讯飞SDK语音识别demo（windows平台），工程中导入自己SDK中的msc，脚本中只需要把appid改成自己的就行，不会的可以看我的博客
unity做的讯飞安卓语音评测，识别，合成的demo
03-04
unity做的讯飞安卓语音评测，识别，合成的demo。目录结构：根目录为unity的项目路径，点进去下级目录中1.apk为安装包，可直接安装到手机安卓6或更高版本查看效果，My Application文件夹下为安卓源码。unity版本：unity2019.3.3及以后。安卓源码开发工具Android Studio4。导出提供给unity使用的arr文件名：app-debug，以导入到项目中，unity可直接打包到手机查看效果。需要注意安卓项目与unity项目不能放入中文目录否则会打包失败。Android Studio项目导出arr文件的方法为点击build-make project,将输出至项目路径app/build/outputs/arr/app-debug.arr 需要注意的是生成的arr文件还不能直接导入到unity项目中，用压缩软件（如360压缩灯等）打开app-debug.arr文件，删除压缩包中的lib/classes.jar文件，这样才能吧app-debug.arr文件导入到unity项目中，否则会类名冲突打包失败。
Unity-科大讯飞在线语音可转语音转文字.unitypackage
10-11
科大讯飞在线语音可转语音转文字
UNITY实战进阶-科大讯飞TTS(离线语音合成) unity播放PCM格式的wav(不依赖第三方库)-7
欲望如海水，越喝越渴。
11-19 7501
科大讯飞TTS(离线语音合成) unity播放PCM格式的wav 不依赖第三方库
Unity使用讯飞语音模型(语音合成+语音识别+语音唤醒)Window端SDK
m0_53853844的博客
04-07 2963
【注意】在使用up主的demo时，我们需要将自己的dll库存放进去，appid换成我们自己的（APPID 于讯飞开发者控制台创建应用申请所得）在控制台下载对应SDK，由于讯飞官方只提供了C++/C语音版本，我们需要用C#调用下载SDK的dll库文件。另外我们如果要使用语音唤醒功能，还需要wakeupresource.jet拖进Unity项目中。在思考、说话状态我们不进行计时功能，只有在listen状态下开启计时功能。我们在使用语音功能时要先调用登入方法，结束时要调用退出登录的方法。这样，全局可使用可修改。
unity 讯飞语音听写windows
01-17
Unity 讯飞语音听写 Windows 是一个专为 Unity 开发者设计的语音识别工具。通过该工具，开发者可以轻松地实现语音输入文本的功能，无需编写繁琐的语音识别算法，只需使用简单的命令就能完成语音听写的功能。而且，...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值