Unity 百度SDK 之 在线语音识别ASR WebAPI 功能的实现
目录
Unity 百度SDK 之 在线语音识别ASR WebAPI 功能的实现
一、简单介绍
Unity 工具类，自己整理的一些游戏开发可能用到的模块，单独独立使用，方便游戏开发。
本节使用Baidu API 进行语音识别功能的简单的实现。
二、百度官网关于在线语音识别的的介绍
网址：https://ai.baidu.com/ai-doc/SPEECH/Vk38lxily
简介
百度短语音识别可以将60秒以下的音频识别为文字。适用于语音对话、语音控制、语音输入等场景。
-
接口类型：通过 REST API 的方式提供的通用的 HTTP 接口。适用于任意操作系统，任意编程语言
-
接口限制：需要上传完整的录音文件，录音文件时长不超过60秒。浏览器由于无法跨域请求百度语音服务器的域名，因此无法直接调用API接口。
-
支持音频格式：pcm、wav、amr、m4a
-
音频编码要求：采样率 16000，16bit 位深，单声道（音频格式查看及转换）
-
语言及模型设置：支持中文普通话（能识别简单的常用英语）、英语、粤语、四川话识别。通过在请求时配置不同的pid参数，选择对应模型，详见请求说明
调用流程
-
创建账号及应用：在ai.baidu.com控制台中，创建应用，勾选开通”语音技术“-”短语音识别、短语音识别极速版“能力。获取AppID、API Key、Secret Key，并通过请求鉴权接口换取 token ，详细见“接入指南”。
-
创建识别请求：POST方式，音频可通过JSON和RAW两种方式提交。JSON方式音频数据由于base64编码，数据会增大1/3。其他填写具体请求参数 ，详见 ”请求说明“。
-
返回识别结果：识别结果会即刻返回，采用 JSON 格式封装，如果识别成功，识别结果放在 JSON的“result”字段中，统一采用 utf-8 方式编码。详见”返回说明“。
三、 在线识别 Access Token 的获取
网址介绍： https://ai.baidu.com/ai-doc/REFERENCE/Ck3dwjhhu
webAPI 获取的方式
四、效果预览
五、实现步骤
1、打开Unity，新建一个工程
2、在工程中添加一个脚本，
3、编写脚本，实现打开麦克风录音，然后传给 REST API 进行识别，记得识别前，要获取以下 Access Token
4、在场景中，添加一个按钮和Text
5、把 脚本挂载到按钮上
6、运行场景，按下按钮，说完，松开进行识别
六、关键代码
using System;
using System.Collections;
using System.Text.RegularExpressions;
using UnityEngine;
using UnityEngine.EventSystems;
using UnityEngine.Networking;
using UnityEngine.UI;
//RequireComponent的这两个组件主要用于播放自己录制的声音,不需要刻意删除,同时注意删除使用组件的代码
[RequireComponent(typeof(AudioListener)), RequireComponent(typeof(AudioSource))]
public class BaiduASR : MonoBehaviour, IPointerDownHandler, IPointerUpHandler
{
//百度语音识别相关key
//string appId = "";
string apiKey = "你的apiKey"; //填写自己的apiKey
string secretKey = "你的secretKey"; //填写自己的secretKey
//记录accesstoken令牌
string accessToken = string.Empty;
//语音识别的结果
string asrResult = string.Empty;
//标记是否有麦克风
private bool isHaveMic = false;
//当前录音设备名称
string currentDeviceName = string.Empty;
//录音频率,控制录音质量(8000,16000)
int recordFrequency = 8000;
//上次按下时间戳
double lastPressTimestamp = 0;
//表示录音的最大时长
int recordMaxLength = 10;
//实际录音长度(由于unity的录音需先指定长度,导致识别上传时候会上传多余的无效字节)
//通过该字段,获取有效录音长度,上传时候剪切到无效的字节数据即可
int trueLength = 0;
//存储录音的片段
[HideInInspector]
public AudioClip saveAudioClip;
//当前按钮下的文本
Text textBtn;
//显示结果的文本
Text textResult;
//音源
AudioSource audioSource;
void Start()
{
//获取麦克风设备，判断是否有麦克风设备
if (Microphone.devices.Length > 0)
{
isHaveMic = true;
currentDeviceName = Microphone.devices[0];
}
//获取相关组件
textBtn = this.transform.GetChild(0).GetComponent<Text>();
audioSource = this.GetComponent<AudioSource>();
textResult = this.transform.parent.GetChild(1).GetComponent<Text>();
}
/// <summary>
/// 开始录音
/// </summary>
/// <param name="isLoop"></param>
/// <param name="lengthSec"></param>
/// <param name="frequency"></param>
/// <returns></returns>
public bool StartRecording(bool isLoop = false) //8000,16000
{
if (isHaveMic == false || Microphone.IsRecording(currentDeviceName))
{
return false;
}
//开始录音
/*
* public static AudioClip Start(string deviceName, bool loop, int lengthSec, int frequency);
* deviceName 录音设备名称.
* loop 如果达到长度,是否继续记录
* lengthSec 指定录音的长度.
* frequency 音频采样率
*/
lastPressTimestamp = GetTimestampOfNowWithMillisecond();
saveAudioClip = Microphone.Start(currentDeviceName, isLoop, recordMaxLength, recordFrequency);
return true;
}
/// <summary>
/// 录音结束,返回实际的录音时长
/// </summary>
/// <returns></returns>
public int EndRecording()
{
if (isHaveMic == false || !Microphone.IsRecording(currentDeviceName))
{
return 0;
}
//结束录音
Microphone.End(currentDeviceName);
//向上取整,避免遗漏录音末尾
return Mathf.CeilToInt((float)(GetTimestampOfNowWithMillisecond() - lastPressTimestamp) / 1000f);
}
/// <summary>
/// 获取毫秒级别的时间戳,用于计算按下录音时长
/// </summary>
/// <returns></returns>
public double GetTimestampOfNowWithMillisecond()
{
return (DateTime.Now.ToUniversalTime().Ticks - 621355968000000000) / 10000;
}
/// <summary>
/// 按下录音按钮
/// </summary>
/// <param name="eventData"></param>
public void OnPointerDown(PointerEventData eventData)
{
textBtn.text = "松开识别";
StartRecording();
}
/// <summary>
/// 放开录音按钮
/// </summary>
/// <param name="eventData"></param>
public void OnPointerUp(PointerEventData eventData)
{
textBtn.text = "按住说话";
trueLength = EndRecording();
if (trueLength > 1)
{
audioSource.PlayOneShot(saveAudioClip);
StartCoroutine(_StartBaiduYuYin());
}
else
{
textResult.text = "录音时长过短";
}
}
/// <summary>
/// 获取accessToken请求令牌
/// </summary>
/// <returns></returns>
IEnumerator _GetAccessToken()
{
var uri =
string.Format(
"https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id={0}&client_secret={1}",
apiKey, secretKey);
UnityWebRequest unityWebRequest = UnityWebRequest.Get(uri);
yield return unityWebRequest.SendWebRequest();
if (unityWebRequest.isDone)
{
//这里可以考虑用Json,本人比较懒所以用正则匹配出accessToken
Match match = Regex.Match(unityWebRequest.downloadHandler.text, @"access_token.:.(.*?).,");
if (match.Success)
{
//表示正则匹配到了accessToken
accessToken = match.Groups[1].ToString();
Debug.Log("accessToken : "+ accessToken);
}
else
{
textResult.text = "验证错误,获取AccessToken失败!!!";
}
}
}
/// <summary>
/// 发起语音识别请求
/// </summary>
/// <returns></returns>
IEnumerator _StartBaiduYuYin()
{
if (string.IsNullOrEmpty(accessToken))
{
yield return _GetAccessToken();
}
asrResult = string.Empty;
//处理当前录音数据为PCM16
float[] samples = new float[recordFrequency * trueLength * saveAudioClip.channels];
saveAudioClip.GetData(samples, 0);
var samplesShort = new short[samples.Length];
for (var index = 0; index < samples.Length; index++)
{
samplesShort[index] = (short)(samples[index] * short.MaxValue);
}
byte[] datas = new byte[samplesShort.Length * 2];
Buffer.BlockCopy(samplesShort, 0, datas, 0, datas.Length);
string url = string.Format("{0}?cuid={1}&token={2}", "https://vop.baidu.com/server_api", SystemInfo.deviceUniqueIdentifier, accessToken);
WWWForm wwwForm = new WWWForm();
wwwForm.AddBinaryData("audio", datas);
UnityWebRequest unityWebRequest = UnityWebRequest.Post(url, wwwForm);
unityWebRequest.SetRequestHeader("Content-Type", "audio/pcm;rate=" + recordFrequency);
yield return unityWebRequest.SendWebRequest();
if (string.IsNullOrEmpty(unityWebRequest.error))
{
asrResult = unityWebRequest.downloadHandler.text;
if (Regex.IsMatch(asrResult, @"err_msg.:.success"))
{
Match match = Regex.Match(asrResult, "result.:..(.*?)..]");
if (match.Success)
{
asrResult = match.Groups[1].ToString();
}
}
else
{
asrResult = "识别结果为空";
}
textResult.text = asrResult;
}
}
}
749
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
