Unity使用讯飞语音模型(语音合成+语音识别+语音唤醒)Window端SDK

最新推荐文章于 2025-03-19 17:35:41 发布
最新推荐文章于 2025-03-19 17:35:41 发布
阅读量5k 收藏 29
点赞数 11
文章标签： 语音识别 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_53853844/article/details/137178450
版权

1.查看官方文档、登录并下载我们所需的SDK。语音唤醒需要我们设置唤醒词。

讯飞智能语音SDK文档官网

讯飞智能语音产品介绍官网

   在控制台下载对应SDK，由于讯飞官方只提供了C++/C语音版本，我们需要用C#调用下载SDK的dll库文件。

2.将dll库拖进Unity项目中

 如果目标设备为64位，我们选择msc_x64.dll；如果是32位，我们选择msc.dll。

另外我们如果要使用语音唤醒功能，还需要wakeupresource.jet拖进Unity项目中。

3.编写C#代码调用dll库

语音合成和语音唤醒部分具体请看Unity 接入科大讯飞语音识别及语音合成_Windwos（该UP有在评论区分享demo，非常暖心！！）

【注意】在使用up主的demo时，我们需要将自己的dll库存放进去，appid换成我们自己的（APPID 于讯飞开发者控制台创建应用申请所得）

以下是我在参考VAIN_K语音唤醒和Unity 接入科大讯飞语音识别及语音合成_Windwos之后稍作调整的代码：

我们在使用语音功能时要先调用登入方法，结束时要调用退出登录的方法。

using System;
using System.Collections.Generic;
using System.IO;
using System.Runtime.InteropServices;
using System.Text;
using System.Threading;
using Unity.VisualScripting;
using UnityEngine;


/// <summary>
/// 语音工具
/// </summary>
public static class Speech
{
    /* APPID 于讯飞开发者控制台创建应用申请所得 */
    const string mAppID = "appid=11111111";
    //wakeupresource.jet的路径
    const string path = "D:\\UnityProject\\VoiceToText\\Assets\\Speech\\Plugins\\wakeupresource.jet";
    const string qivw_session_begin_params = "ivw_threshold=0:1450,sst=wakeup,ivw_res_path =fo|" + path;
    public static bool isAwaken = false;

    /// <summary>
    /// 登录接口
    /// </summary>
    /// <returns></returns>
    public static int MSPLogin()
    {
        int res = MSCDLL.MSPLogin(null, null, mAppID);
        if (res != 0)
        {
            Debug.Log($"login failed. error code: {res}");
        }
        else
            Debug.Log("登录接口成功");
        return res;
    }
    /// <summary>
    /// 退出登录
    /// </summary>
    public static void MSPLogout()
    {
        int error = MSCDLL.MSPLogout();
        if (error != 0)
            Debug.Log($"logout failed. error code {error}");
        else
            Debug.Log("退出登录成功");
    }


    /// <summary>
    /// 科大讯飞语音识别
    /// </summary>
    /// <param name="clipBuffer">音频数据</param>
    /// <returns>识别后的字符串结果</returns>
    public static string Asr(byte[] clipBuffer)
        {
        /* 首先调用登录接口
         * 登录成功返回0,否则为错误代码 */
        int res = 0;
        /* 调用开启一次语音识别的接口
         * 接收返回的句柄,后续调用写入音频、获取结果等接口需要使用
         * 调用成功error code为0,否则为错误代码 
         * 备注:
         *  第二个参数为 开始一次语音识别的参数列表 可以再进行具体的封装
         *  例如 language参数 封装枚举 switch中文 为zh_cn    switch英文 为en_us
         *  具体参照科大讯飞官网SDK文档 */
        IntPtr sessionID = MSCDLL.QISRSessionBegin(null,
                "sub=iat,domain=iat,language=zh_cn,accent=mandarin,sample_rate=16000,result_type=plain,result_encoding= utf-8", ref res);
            if (res != 0)
            {
                Debug.Log($"begin failed. error code: {res}");
                OnErrorEvent();
                return null;
            }

            /* 用于记录端点状态 */
            EpStatus epStatus = EpStatus.MSP_EP_LOOKING_FOR_SPEECH;
            /* 用于记录识别状态 */
            RecogStatus recognizeStatus = RecogStatus.MSP_REC_STATUS_SUCCESS;

            /* 调用音频写入接口 将需要识别的音频数据传入
             * 写入成功返回0,否则为错误代码 */
            res = MSCDLL.QISRAudioWrite(sessionID, clipBuffer, (uint)clipBuffer.Length, AudioStatus.MSP_AUDIO_SAMPLE_CONTINUE, ref epStatus, ref recognizeStatus);
            if (res != 0)
            {
                Debug.Log($"write failed. error code: {res}");
                MSCDLL.QISRSessionEnd(sessionID, "error");
                OnErrorEvent();
                return null;
            }
            res = MSCDLL.QISRAudioWrite(sessionID, null, 0, AudioStatus.MSP_AUDIO_SAMPLE_LAST, ref epStatus, ref recognizeStatus);
            if (res != 0)
            {
                Debug.Log($"write failed. error code: {res}");
                MSCDLL.QISRSessionEnd(sessionID, "error");
                OnErrorEvent();
                return null;
            }

            /* 用于存储识别结果 */
            StringBuilder sb = new StringBuilder();
            /* 用于累加识别结果的长度 */
            int length = 0;

            /* 音频写入后 反复调用获取识别结果的接口直到获取完毕 */
            while (recognizeStatus != RecogStatus.MSP_REC_STATUS_COMPLETE)
            {
                IntPtr curtRslt = MSCDLL.QISRGetResult(sessionID, ref recognizeStatus, 0, ref res);
                if (res != 0)
                {
                    Debug.Log($"get result failed. error code: {res}");
                    MSCDLL.QISRSessionEnd(sessionID, "error");
                    OnErrorEvent();
                    return null;
                }
                /* 当前部分识别结果不为空 将其存入sb*/
                if (null != curtRslt)
                {
                    length += curtRslt.ToString().Length;
                    if (length > 4096)
                    {
                        Debug.Log($"size not enough: {length} > 4096");
                        MSCDLL.QISRSessionEnd(sessionID, "error");
                        OnErrorEvent();
                        return sb.ToString();
                    }
                    sb.Append(Marshal.PtrToStringAnsi(curtRslt));
                }
                Thread.Sleep(150);
            }

            /* 获取完全部识别结果后 结束本次语音识别 */
            res = MSCDLL.QISRSessionEnd(sessionID, "ao li gei !");
            if (res != 0) Debug.Log($"end failed. error code: {res}");

        /* 最终退出登录 返回识别结果*/
        //MSPLogout();
            return sb.ToString();
        }

    /// <summary>
    /// 科大讯飞语音识别
    /// </summary>
    /// <param name="path">音频文件所在路径</param>
    /// <returns>识别后的字符串结果</returns>
    public static string Asr(string path)
        {
            if (string.IsNullOrEmpty(path))
            {
                Debug.Log("path can not be null.");
                return null;
            }
            byte[] clipBuffer;
            try
            {
                clipBuffer = File.ReadAllBytes(path);
            }
            catch (Exception e)
            {
                Debug.Log($"exception: {e.Message}");
                return null;
            }
            return Asr(clipBuffer);
        }
    /// <summary>
    /// 科大讯飞语音识别
    /// </summary>
    /// <param name="clip">需要识别的AudioClip</param>
    /// <returns>识别后的字符串结果</returns>
    public static string Asr(AudioClip clip)
        {
            byte[] clipBuffer = clip.ToPCM16();
            return Asr(clipBuffer);
        }

    /// <summary>
    /// 科大讯飞语音合成
    /// </summary>
    /// <param name="content">需要合成音频的文本内容</param>
    /// <returns>合成后的音频</returns>
    public static AudioClip Tts(string content, TtsVoice voice = TtsVoice.XuJiu)
        {
        /* 首先调用登录接口
         * 登录成功返回0,否则为错误代码 */
        //int res = MSPLogin();
        int res = 0;

            /* 调用开启一次语音合成的接口
             * 接收返回后的句柄,后续调用写入文本等接口需要使用
             * 调用成功error code为0,否则为错误代码
             * 备注:
             *  第一个参数为 开启一次语音合成的参数列表
             *  具体参照科大讯飞官网SDK文档 */
            string voicer = "";
            switch (voice)
            {
                case TtsVoice.XiaoYan:
                    voicer = "xiaoyan";
                    break;
                case TtsVoice.XuJiu:
                    voicer = "aisjiuxu";
                    break;
                case TtsVoice.XiaoPing:
                    voicer = "aisxping";
                    break;
                case TtsVoice.XiaoJing:
                    voicer = "aisjinger";
                    break;
                case TtsVoice.XuXiaoBao:
                    voicer = "aisbabyxu";
                    break;
                default:
                    break;
            }
            IntPtr sessionID = MSCDLL.QTTSSessionBegin($"engine_type = cloud, voice_name = {voicer}, speed = 65, pitch = 40, text_encoding = utf8, sample_rate = 16000", ref res);
            if (res != 0)
            {
                Debug.Log($"begin failed. error code: {res}");
                OnErrorEvent();
                return null;
            }

            /* 调用写入文本的接口 将需要合成内容传入
             * 调用成功返回0,否则为错误代码 */
            res = MSCDLL.QTTSTextPut(sessionID, content, (uint)Encoding.UTF8.GetByteCount(content), string.Empty);
            if (res != 0)
            {
                Debug.Log($"put text failed. error code: {res}");
                OnErrorEvent();
                return null;
            }

            /* 用于记录长度 */
            uint audioLength = 0;
            /* 用于记录合成状态 */
            SynthStatus synthStatus = SynthStatus.MSP_TTS_FLAG_STILL_HAVE_DATA;

            List<byte[]> bytesList = new List<byte[]>();

            /* 文本写入后 调用获取合成音频的接口
             * 获取成功error code为0,否则为错误代码
             * 需反复调用 直到合成状态为结束 或出现错误代码 */
            try
            {
                while (true)
                {
                    IntPtr intPtr = MSCDLL.QTTSAudioGet(sessionID, ref audioLength, ref synthStatus, ref res);
                    byte[] byteArray = new byte[(int)audioLength];
                    if (audioLength > 0) Marshal.Copy(intPtr, byteArray, 0, (int)audioLength);

                    bytesList.Add(byteArray);

                    Thread.Sleep(150);
                    if (synthStatus == SynthStatus.MSP_TTS_FLAG_DATA_END || res != 0)
                        break;
                }
            }
            catch (Exception e)
            {
                OnErrorEvent();
                Debug.Log($"error: {e.Message}");
                return null;
            }

            int size = 0;
            for (int i = 0; i < bytesList.Count; i++)
            {
                size += bytesList[i].Length;
            }

            var header = GetWaveHeader(size);
            byte[] array = header.ToBytes();
            bytesList.Insert(0, array);
            size += array.Length;

            byte[] bytes = new byte[size];

            size = 0;
            for (int i = 0; i < bytesList.Count; i++)
            {
                bytesList[i].CopyTo(bytes, size);
                size += bytesList[i].Length;
            }
            AudioClip clip = bytes.ToWAV();


            res = MSCDLL.QTTSSessionEnd(sessionID, "ao li gei !");
            if (res != 0)
            {
                Debug.Log($"end failed. error code: {res}");
                OnErrorEvent();
                return clip;
            }

        //M
最低0.47元/天 解锁文章
Unity 科大讯飞语音唤醒
VAIN的博客
07-15 5395
今天更新unity讯飞的语音唤醒功能，由于之前使用的是语音识别，识别出唤醒词来做了一个假的语音唤醒。 缺点：语音识别一直处于识别中。结果可想而知，一天的识别量达到了1W次，这次多么恐怖的一件事啊。 要想知道1000元购买的20W次。20天就能用完，那是多么可怕的事，所以我决定加上语音唤醒功能。 那么我们进入正题 先把我们所需要的SDK接口完善到之前文章的MSCDLL中 public class MSCDLL { #region 语音唤醒 //定义回调函数 [UnmanagedFunctio
unity-调用讯飞星火语音唤醒-新版windowsSDK
pure81的博客
06-21 1850
在unity中win系统下实现调用讯飞语音唤醒新版的sdk
unity讯飞语音识别demo（windows平台）
07-20
unity讯飞SDK语音识别demo（windows平台），工程中导入自己SDK中的msc，脚本中只需要把appid改成自己的就行，不会的可以看我的博客
Unity3D开发AI桌面精灵/宠物系列 【二】 语音唤醒 ivw 的两种方式-Windows本地或第三方讯飞等
最新发布
计算机领域优质博文分享
03-19 1301
本篇内容主要讲Unity开发桌面宠物语音唤醒功能，大家感兴趣也可以了解一下这个开发方向，目前还是挺有前景的，AI智能科技发展这么迅猛，紧跟步伐哈~下面让我们出发吧顾名思义，就是用户可以通过使用指定关键词来让桌面宠物做某件事或者有某种响应。原理即是通过实时监听用户语音，来检测其中是否含有指定关键词，监听到之后绑定某个事件。提示： 大家根据需求来做功能，后续继续其他功能啦，不懂的快喊我。大家可以在评论区讨论其他系列下一期出什么内容，这个系列会继续更新的。
科大讯飞离线TTS语音朗读引擎 Windows SDK 使用指南
gitblog_09801的博客
10-21 1054
科大讯飞离线TTS语音朗读引擎 Windows SDK 使用指南 【下载地址】科大讯飞离线TTS语音朗读引擎WindowsSDK使用指南 本仓库提供了一个基于科大讯飞离线TTS语音朗读引擎的Windows SDK资源文件，该资源文件包含了C代码封装成DLL，并通过C#在Unity中调用的示例。该示例主要用于将文字合成为....
[Unity]_语音唤醒（关键词）
—巨人绿
05-13 1489
using System.Collections; using System.Collections.Generic; using UnityEngine; using UnityEngine.Windows.Speech; public class VoiceWakeUp : MonoBehaviour { /// <summary> /// 可信度 /// </summary> public ConfidenceLevel m_Confiden.
Unity与讯飞的aiui交互
weixin_42573555的博客
06-27 2074
最近项目是做机器人，机器人最大的（普通的）AI功能就是语音交流，所以AIUI就是一个很好的选择。哎AIUI是封装了，讯飞的语音合成、语音识别等功能，重点是它有个兜底功能选择，还有技能工作室的加持，虽然在开发应用中有很多的吐槽，但是本人对讯飞还是非常佩服的。而且在做项目时，发现目前unity跟aiui开发的技术文档少，所以还是想写个技术文档希望对看到的人有帮助。（第一次写技术博客，如果有不满，请多多包涵，多多指教，谢谢） 在讯飞申请的应用中—>其他—>AIUI平台，开通AIUI功能![在这..
unity接科大讯飞在线语音合成（Windows）
09-08
unity端科大讯飞在线语音合成（Windows），能实现在场景中输入文本（汉语、英语、数字）合成音频文件，想要了解的更详细可以看我的博客https://blog.csdn.net/hyy_sui_yuan/article/details/82532068 有问题欢迎提问
Unity 接入讯飞语音识别包(Android)
07-25
Unity 接入讯飞语音识别包，实现语音识别，包含Unity 项目工程和Android安装包
unity接科大讯飞语音识别Windows平台（包含录音功能）
10-23
unity接科大讯飞语音识别Windows平台（添加了录音功能） 文章链接：https://blog.csdn.net/hyy_sui_yuan/article/details/83307827
Unity 接入科大讯飞语音识别及语音合成
热门推荐
当代野生程序猿
07-29 1万+
首先需要到科大讯飞官网开发者控制台创建一个应用，创建成功后获得服务接口认证信息，我们只需用到其中的AppID。 其次需要下载自己的SDK，一些小伙伴非常擅长在网上找资源，把别人的拿过来，然后发现调用不起来，注意一定要下载自己的SDK使用，因为其中的AppID是对应的。 将SDK导入到Unity工程中，在bin文件夹下可以看到dll动态库，我们在脚本中使用DllImport调用动态库中的接口。 封装MSCDLL类： using System; using System.Runti
Unity+讯飞语音识别
11-05
Unity结合讯飞语音识别Demo，在线识别，给需要的朋友
Unity3D：讯飞实现语音识别功能语音转文字（Windows）
07-26
科大讯飞语音识别功能还是很强大的，之前一直在做移动端的语音识别功能，一直没弄过Windows平台的，在网上找了很多别人写的功能，然后自己整理了一下。 其实就是把讯飞的window平台的C/C++接口转换成C#能调用的接口，利用DllImport将封装在C/C++里的部分用到的函数转换为C#可以直接调用的函数 首先创建一个MscDLL类，将C/C++的接口转换为C#，然后把C语言头文件msp_errors.h中的错误以及各种状态封装到该类中。下面是代码。
Unity 讯飞语音合成工具
12-28
Unity调用科大讯飞SDK制作的批量语音合成工具
Unity调用科大讯飞离线语音合成，语音播报功能demo
09-18
Unity调用科大讯飞离线语音合成，语音播报功能demo，代码来自https://blog.csdn.net/weixin_42208093/article/details/109491071，上传此资源主要为解决实际运用的各种小问题，比较方便应用，有问题评论区联系
科大讯飞语音唤醒+语音识别+语音播报 Windows C#
foreverfa520的博客
09-13 2505
使用C#调用科大讯飞MSC语音库的实现，目前代码是Windows Form或者WPF上用，Unity可以参考
在Unity 中实现Windows端讯飞SDK的语音识别、语音合成功能的相关要点总结
qq_39993352的博客
06-02 4888
      前段时间因为项目中需要用到讯飞SDK来实现语音识别以及语音合成的功能，但因为是要在Unity构建的项目里实现这些功能，编程语言的不同以及Unity本身的特性使得讯飞SDK要用在Unity上有一定的困难。经过从网上查找的一些资料以及自己的一些尝试，总算是将语音识别以及合成的功能给实现了，以下总结一下在功能实现过程中的一些经验教训：     （1）从讯飞官网上查找的Windows端API文...
Unity中接入讯飞语音（实时语音转写）WebAPI（非SDK）
weixin_43298513的博客
07-10 1368
该功能可在PC和移动端通用。
unity 讯飞 语音唤醒
08-11
Unity 是一种跨平台的游戏开发引擎，而讯飞则是中国领先的人工智能技术提供商，其语音唤醒功能是讯飞语音助手的重要一环。 在Unity中集成讯飞语音唤醒功能可以让游戏具备语音控制的能力。通过使用讯飞的语音唤醒技术，玩家可以使用语音指令来操控游戏角色或进行游戏设置等操作。唤醒词通常是一个特定的单词或短语，当玩家说出唤醒词时，游戏会进入识别模式，对后续的语音指令进行处理。 在Unity中使用讯飞语音唤醒功能，首先需要下载并导入讯飞语音唤醒的SDK库文件。然后，在游戏中创建一个语音唤醒的对象，并在适当的时机调用相关方法。可以监听语音唤醒对象的事件，如唤醒成功事件或唤醒失败事件，以便根据玩家的语音指令进行相应的操作。 通过集成讯飞语音唤醒功能，可以为游戏增加更多的交互方式，提升玩家体验。玩家只需通过语音就能够轻松操控游戏，而无需手动操作键盘或鼠标。这对于一些特定情境下，如手部不便利或无法使用外设的玩家来说，尤其有益处。 总之，Unity与讯飞语音唤醒的结合可以为游戏开发者带来更多创新的可能性，并丰富了游戏交互方式，提升了玩家体验。
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

苏轼轼

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值