Unity 接入百度长文本合成语音

已于 2024-03-13 14:24:16 修改
阅读量480 收藏 3
点赞数 1
分类专栏： Unity 技术探索专栏 文章标签： 1024程序员节 unity c#
于 2023-10-24 10:55:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Test_Two/article/details/134006655
版权

注意：Unity版本2020及以上

1. 创建空物体，并挂载以下脚本

using System.Collections;
using UnityEngine;
using UnityEngine.Networking;

namespace BaiDuAI
{
    public class BaiduSettings : MonoBehaviour
    {
        #region 参数定义
        /// <summary>
        /// API Key
        /// </summary>
        [Header("应用的API Key")] public string m_API_key = string.Empty;
        /// <summary>
        /// Secret Key
        /// </summary>
        [Header("应用的Secret Key")] public string m_Client_secret = string.Empty;
        
        [Header("合成URL")] public string m_CompositeURL = "https://aip.baidubce.com/rpc/2.0/tts/v1/create";
        [Header("查询URL")] public string m_QueryURL = "https://aip.baidubce.com/rpc/2.0/tts/v1/query";
        /// <summary>
        /// token值
        /// </summary>
        [HideInInspector]public string m_Token = string.Empty;
        /// <summary>
        /// 是否从服务器获取token
        /// </summary>
        [Header("填写TokenURL")][SerializeField] private bool m_GetTokenFromServer = true;
        [SerializeField] private string m_AuthorizeURL = "https://aip.baidubce.com/oauth/2.0/token";
        #endregion
    
        private void Awake()
        {
            if (m_GetTokenFromServer)
            {
                StartCoroutine(GetToken(GetTokenAction));
            }
        }


        /// <summary>
        /// 获取到token
        /// </summary>
        /// <param name="_token"></param>
        private void GetTokenAction(string _token)
        {
            m_Token = _token;
        }

        /// <summary>
        /// 获取token的方法
        /// </summary>
        /// <param name="_callback"></param>
        /// <returns></returns>
        private IEnumerator GetToken(System.Action<string> _callback)
        {
            //获取token的api地址
            string _token_url = $"{m_AuthorizeURL}?grant_type=client_credentials&client_id={m_API_key}&client_secret={m_Client_secret}";

            using UnityWebRequest request = UnityWebRequest.Get(_token_url);
            yield return request.SendWebRequest();
            if (request.result !=UnityWebRequest.Result.Success)
            {
                Debug.LogError(request.error);
            }
            else
            {
                string _msg = request.downloadHandler.text;
                TokenInfo _textback = JsonUtility.FromJson<TokenInfo>(_msg);
                string _token = _textback.access_token;
                _callback(_token);
            }
        }
    }


    /// <summary>
    /// 返回的token
    /// </summary>
    [System.Serializable]
    public class TokenInfo
    {
        public string access_token = string.Empty;
    }
}
using System;
using System.Collections;
using System.Text;
using UnityEngine;
using UnityEngine.Networking;
using Debug = UnityEngine.Debug;

namespace BaiDuAI
{
    [RequireComponent(typeof(BaiduSettings))]
    public class BaiduTextToSpeech : MonoBehaviour
    {
        #region 参数
        /// <summary>
        /// token脚本
        /// </summary>
        [SerializeField] private BaiduSettings m_Settings;
        /// <summary>
        /// 语音合成设置
        /// </summary>
        [SerializeField] private PostDataSetting m_Post_Setting;
        #endregion

        private void Awake()
        {
            m_Settings = this.GetComponent<BaiduSettings>();
        }

        #region Public Method


        /// <summary>
        /// 语音合成，返回合成结果
        /// </summary>
        /// <param name="msg"></param>
        /// <param name="callback"></param>
        public void Speak(string msg, Action<AudioClip> callback)
        {
            StartCoroutine( GetSpeech(msg, callback));
        }

        #endregion

        #region Private Method

        private IEnumerator GetSpeech(string msg, Action<AudioClip> callback)
        {
            string url = $"{m_Settings.m_CompositeURL}?access_token={m_Settings.m_Token}";
            
            Message data = new Message()
            {
                text = new []{msg},
                format=m_Post_Setting.format,
                voice= SetReader(m_Post_Setting.per),
                lang=m_Post_Setting.lang,
                speed=m_Post_Setting.speed,
                pitch=m_Post_Setting.pitch,
                volume=m_Post_Setting.volume
            };

            string jsonData = JsonUtility.ToJson(data);
       
            print(jsonData);
            // 发送请求
            using UnityWebRequest request = new UnityWebRequest(url, "POST");
            byte[] bodyRaw = Encoding.UTF8.GetBytes(jsonData);
            request.uploadHandler = new UploadHandlerRaw(bodyRaw);
            request.downloadHandler = new DownloadHandlerBuffer();
            request.SetRequestHeader("Content-Type", "application/json");

            yield return request.SendWebRequest();

            if (request.result != UnityWebRequest.Result.Success)
            {
                Debug.LogError(request.error);
            }
            else
            {
                string responseText = request.downloadHandler.text;
                string audioID = JsonUtility.FromJson<AudioSynthesisTaskInfo>(responseText).task_id;
                StartCoroutine(QueryResultantResult(audioID,callback));
            }
        }
    
    
        IEnumerator QueryResultantResult(string audioID,Action<AudioClip> callback)
        {
            string url = $"{m_Settings.m_QueryURL}?access_token={m_Settings.m_Token}";
            while (true)
            {
                yield return new WaitForSeconds(1f);
                AudioSynthesisTasks synthesisTasks = new AudioSynthesisTasks
                {
                    task_ids = new[] { audioID }
                };
                string payload = JsonUtility.ToJson(synthesisTasks);
                using UnityWebRequest request = new UnityWebRequest(url, "POST");
                byte[] bodyRaw = Encoding.UTF8.GetBytes(payload);
                request.uploadHandler = new UploadHandlerRaw(bodyRaw);
                request.downloadHandler = new DownloadHandlerBuffer();
                request.SetRequestHeader("Content-Type", "application/json");
                yield return request.SendWebRequest();

                if (request.result !=UnityWebRequest.Result.Success)
                {
                    Debug.LogError(request.error);
                }
                else
                {
                    string responseText = request.downloadHandler.text;
                    string audioState=JsonUtility.FromJson<ResultantResult>(responseText).tasks_info[0].task_status;
                    if (audioState.Equals("Success"))
                    {
                        string audioUrl= JsonUtility.FromJson<ResultantResult>(responseText).tasks_info[0].task_result.speech_url;
                        StartCoroutine(PlayAudioClip(audioUrl, callback));
                        print(audioUrl);
                        yield break;
                    }
                }
            }
        }

        IEnumerator PlayAudioClip(string audioUrl,Action<AudioClip> callback)
        {
            using UnityWebRequest audioRequest = UnityWebRequestMultimedia.GetAudioClip(audioUrl, AudioType.WAV);
            yield return audioRequest.SendWebRequest();

            if (audioRequest.result != UnityWebRequest.Result.Success)
            {
                Debug.Log("Failed to load audio: " + audioRequest.error);
            }
            else
            {
                AudioClip audioClip = DownloadHandlerAudioClip.GetContent(audioRequest);
                callback?.Invoke(audioClip);
            }
        }
    
        private int SetReader(SpeechRole role)
        {
            return role switch
            {
                SpeechRole.度小宇 => 1,
                SpeechRole.度小美 => 0,
                SpeechRole.度逍遥 => 3,
                SpeechRole.度丫丫 => 4,
                SpeechRole.Jp度小娇 => 5,
                SpeechRole.Jp度逍遥 => 5003,
                SpeechRole.Jp度小鹿 => 5118,
                SpeechRole.Jp度博文 => 106,
                SpeechRole.Jp度小童 => 110,
                SpeechRole.Jp度小萌 => 111,
                SpeechRole.Jp度米朵 => 5,
                _ => 0
            };
        }

        #endregion

        #region 数据格式定义
    
        /// <summary>
        /// 语音合成的配置信息
        /// </summary>
        [Serializable]
        public class PostDataSetting
        {
            /// <summary>
            /// 固定值zh。语言选择,目前只有中英文混合模式，填写固定值zh
            /// </summary>
            [Header("语言设置，固定值zh")] public string lang = "zh";
            /// <summary>
            /// 语速，取值0-15，默认为5中语速
            /// </summary>
            [Header("语速，取值0-15，默认为5中语速")] public int speed = 5;
            /// <summary>
            /// 音调，取值0-15，默认为5中语调
            /// </summary>
            [Header("音调，取值0-15，默认为5中语调")] public int pitch	 = 5;
            /// <summary>
            /// 音量，取值0-15，默认为5中音量（取值为0时为音量最小值，并非为无声）
            /// </summary>
            [Header("音量，取值0-15，默认为5中音量")] public int volume = 5;
            /// <summary>
            /// 基础音库：度小宇=1，度小美=0，度逍遥（基础）=3，度丫丫=4
            /// 精品音库：度逍遥（精品）=5003，度小鹿=5118，度博文=106，度小童=110，度小萌=111，度米朵=103，度小娇=5。默认为度小美
            /// </summary>
            [Header("设置朗读的声音")] public SpeechRole per = SpeechRole.度小美;
            /// <summary>
            /// 3为mp3格式(默认)； 4为pcm-16k；5为pcm-8k；6为wav（内容同pcm-16k）; 注意aue=4或者6是语音识别要求的格式，
            /// 但是音频内容不是语音识别要求的自然人发音，所以识别效果会受影响。
            /// </summary>
            [Header("设置音频格式")] public string format = "wav";
        }
    
        /// <summary>
        /// 可选声音
        /// </summary>
        public enum SpeechRole
        {
            度小宇,
            度小美,
            度逍遥,
            度丫丫,
            Jp度逍遥,
            Jp度小鹿,
            Jp度博文,
            Jp度小童,
            Jp度小萌,
            Jp度米朵,
            Jp度小娇
        }
    
    
        [Serializable]
        public class Message
        {
            public string[] text;
            public string format;
            public int voice;
            public string lang;
            public int speed;
            public int pitch;
            public int volume;
            public int enable_subtitle;
        }
    
    
        /// <summary>
        /// 语音合成任务
        /// </summary>
        [System.Serializable]
        public class AudioSynthesisTasks
        {
            public string[] task_ids;
        }
    
        /// <summary>
        /// 语音合成任务信息
        /// </summary>
        [System.Serializable]
        public class AudioSynthesisTaskInfo
        {
            public int log_id;
            public string task_status;
            public string task_id;
        }
        /// <summary>
        /// 合成结果
        /// </summary>
        [System.Serializable]
        public class ResultantResult
        {
            public int log_id;
            public AudioTaskInfo[] tasks_info;

        }
        /// <summary>
        /// 音频信息
        /// </summary>
        [System.Serializable]
        public class AudioTaskInfo
        {
            public string task_status;
            public AudioTaskResult task_result;
            public string task_id;
        
        }
        [System.Serializable]
        public class AudioTaskResult
        {
            public string speech_url;
        }
    
        #endregion

    }
}

2.如何使用

using System.Collections;
using System.Collections.Generic;
using BaiDuAI;
using UnityEngine;

public class Test : MonoBehaviour
{
    public BaiduTextToSpeech TTS;

    public AudioSource audioSource;
    // Start is called before the first frame update
    void Start()
    {
        TTS.Speak("这是一段测试音频", (clip) =>
        {
            audioSource.clip = clip;
            audioSource.Play();
        });
    }

    
}

3.运行结果

今天喝水了嘛.
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 4
    评论
专栏目录
【Unity】文字转语音
顾先生的博客
05-08 375
Unity中文字转语音需要用到和插件将这两个插件放到Plugins目录下再将导入到项目中通过调用进行播放文字语音通过调用进行暂停语音播放。
Unity接入百度语音识别解决方案
terrysandra的博客
03-20 1072
之前有过需求要是语音识别，而百度也提供了对应的.dll文件，后来用了一下在识别的时候占用了主线程，会卡顿，又看了看大佬的解决方案，自己也总结了一下。 总共分为四大部：1获取Token、2开始录音、3录音结束、4上传百度进行识别。 直接上代码 ...
Unity3d语音合成（试听、下载功能）项目源码
04-29
Unity3d实现语音合成，包含试听和选择路径保存下载功能项目源码。 建议先看说明：
unity3d百度语音转文字，文字转语音
07-26
unity3d百度在线语音转文字，文字转语音。可以跨平台运行。https://blog.csdn.net/luoyikun/article/details/81212838
Unity3d百度语音识别项目
09-06
Unity3d百度语音识别项目 基于百度语音识别API，C#语言可用，项目较为简单
unity 3D 百度语音合成 并播放
04-19
百度语音合成，并播放！
unity文本转换语音
是阿根啊的博客
02-18 1094
因公司项目需要动态文本转换语音所以找了插件分享给大家[添加链接描述] 密码a0j8 (https://pan.baidu.com/s/1qExrEfqFmO_qbPeFKDl_hw)
Unity 使用百度AI开放平台 实现文字转语音效果
Maddie_Mo的博客
05-07 2073
Unity 文字转语音 实时播放 整体很简单，只需要简单的搭载使就用就可以了。 废话不多说了 直接上代码。 using System.Collections; using System.Collections.Generic; using UnityEngine; using UnityEngine.Networking; /// <summary> /// 文字转语音 /// ...
Unity 文字转语音
梦想是世界和平
09-01 1542
3分钟搞懂 https://www.cnblogs.com/qq2351194611/p/14446646.html
unity 接入火山引擎文件转语音（语音合成）
最新发布
01-11
在Unity游戏开发中，接入火山引擎的文件转语音服务，即语音合成技术，可以为游戏带来丰富的交互体验，尤其适用于教育、娱乐等领域的项目。本文将深入探讨如何在Unity中集成火山引擎的语音合成功能，并提供源码实现的...
Unity 接入讯飞语音识别包(Android)
07-25
以上就是Unity接入讯飞语音识别包在Android平台的基本流程。通过这个过程，开发者可以为Unity游戏添加语音控制、语音交互等功能，提升游戏的交互性和趣味性。在实际开发中，还应注意兼容性问题，以及遵循讯飞SDK的...
Unity文字转语音插件 RT-Voice PRO 2020.1.2(u2017.4.2)
09-09
Unity文字转语音插件，可以将文本朗读出来，可设置朗读的语言，朗读语速，在开发环境Unity2019.2.f1，在mac和win，ios，android设备上运行成功。
unity接科大讯飞在线语音合成（Windows）
09-08
unity端科大讯飞在线语音合成（Windows），能实现在场景中输入文本（汉语、英语、数字）合成音频文件，想要了解的更详细可以看我的博客https://blog.csdn.net/hyy_sui_yuan/article/details/82532068 有问题欢迎提问
unity中实现微软语音合成源文件
10-23
4. **合成语音** - 创建`SpeechSynthesizer`对象，用于实际的语音合成操作： ```csharp using (var synthesizer = new SpeechSynthesizer(config)) { var result = await synthesizer.SpeakTextAsync("你好，...
Unity Webgl 讯飞语音
04-19
3. **接入语音录入** 要在Unity中使用讯飞的语音录入功能，首先需要在讯飞开放平台上注册并获取API密钥。然后，在Unity项目中导入讯飞提供的SDK，并根据SDK文档配置设置，如设置识别语言、采样率等。最后，编写C#...
C#接入阿里云文字转语音.rar
02-21
总结来说，通过C#接入阿里云的文字转语音服务，我们可以轻松地在Unity项目中实现文本到语音的转换，为游戏、教育软件、智能助手等应用增添更多交互性。同时，合理利用阿里云TTS的免费额度，可以帮助开发者在初期阶段...
基于百度AI的文字转语音助手（Unity版）开发进度
亮出锋芒，剑指苍穹
10-17 7544
前段时间一直忙别的事儿去了，这个项目压了好久。 挖坑篇请见：（ http://www.smartcrane.club/2018/09/11/TTS.html ）   当时做了一个“极简版”的（其实是在百度API的Demo的基础上改了改而已），只有一个按钮，把语音合成和保存的功能都挤到一个函数里实现了。反正是自己用，也没那么讲究了，功能过的去就好了。 但是用着用着，问题就出来了，这玩意儿...
Unity，微软Azure文字转语音，流式AudioClip处理
Thechuang的博客
11-01 900
Unity，微软Azure文字转语音，流式AudioClip处理
Unity文字转语音(使用RT-Voice)
D_kkkk的博客
04-20 1885
文字转语音
unity接入百度语音识别
06-13
要在Unity中接入百度语音识别，需要以下步骤： 1. 在百度开放平台上注册并创建应用，获得App ID和API Key。 2. 下载并导入百度语音识别SDK到Unity项目中。 3. 在Unity中创建一个脚本，编写调用百度语音识别接口的代码。可以使用Unity提供的WebRequest或HttpClient等工具进行HTTP请求。 4. 在脚本中添加语音识别回调函数，将语音识别结果传递给其他模块进行处理。 5. 在Unity中创建一个UI界面，用于显示语音识别的状态和结果。 需要注意的是，在接入百度语音识别时，需要保证网络的可用性，并按照百度语音识别的API文档进行参数配置和接口调用。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

今天喝水了嘛.

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值