Laf 结合百度语音技术轻松实现文本与语音之间的互转

最新推荐文章于 2024-07-22 07:00:00 发布
最新推荐文章于 2024-07-22 07:00:00 发布
阅读量438 收藏 2
点赞数 1
分类专栏： AI智能 文章标签： 百度 语音识别 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Jokeny_gyh/article/details/131346058
版权

一、关于百度语音技术

百度语音技术是百度语音开放业界领先的语音识别、语音合成技术能力，广泛应用于泛阅读、在线教育、音频审核、电话客服、快递物流等多种行业和场景，赋能开发者，让您的产品能“听”会“说”。
在这里插入图片描述

二、前期准备

1.百度智能云注册
进入百度智能云官网进行注册，地址：https://cloud.baidu.com/
在这里插入图片描述
2.创建应用
完成注册后登录百度智能云并进入控制台，然后点击左侧菜单【产品服务】-【语音技术】
在这里插入图片描述
再点击“语音技术”菜单下的【应用列表】-【创建应用】
在这里插入图片描述
输入“应用名称，勾选“语音技术”、“语音包名”，输入“应用描述”后点击“立即创建”按钮
在这里插入图片描述
在这里插入图片描述
创建完成后回到“应用列表”，复制该应用的API Key和 Secret Key并保存
在这里插入图片描述
另外，在【语音技术】-【概览】界面中可以领取“免费资源”，不同接口会有相应的免费调用次数，如下图：
在这里插入图片描述
在这里插入图片描述

三、在 Laf 中接入百度语音技术

登录 Laf 云开发平台，在应用列表中选择一个应用后点击【开发】按钮，进入 Laf 应用开发 IDE
在这里插入图片描述
1.添加函数
点击左上角【函数列表】处的“+”按钮创建需要使用到的云函数
1）云函数“baidu-api”：用于实现百度语音技术的接口对接
在这里插入图片描述
2）云函数“upload-file”：文件上传功能的封装
在这里插入图片描述
3）云函数“store-file”：用于将上传的文件存放到 Laf 云存储中，关于 Laf 云存储的详细说明可点击链接 https://doc.laf.run/guide/oss/ 进行了解
在这里插入图片描述
2.将上传的文件存放到 Laf 云存储
先在云存储中添加“Bucket”空间，如下图：
在这里插入图片描述
在这里插入图片描述
云函数“store-file”完整代码如下：

import cloud from '@lafjs/cloud'
import { GetObjectCommand, S3 } from '@aws-sdk/client-s3';
import { getSignedUrl } from '@aws-sdk/s3-request-presigner';

//初始化
const s3Client = new S3({
  endpoint: process.env.OSS_EXTERNAL_ENDPOINT,
  region: process.env.OSS_REGION,
  credentials: {
    accessKeyId: process.env.OSS_ACCESS_KEY,
    secretAccessKey: process.env.OSS_ACCESS_SECRET
  },
  forcePathStyle: true,
})
//存储空间名称，不带 Laf 应用 appid
const bucketName = 'store-file'

export default async function (ctx: FunctionContext) {
  const _body = ctx.body;
  //参数校验
  if (!_body.type) {
    return resultData(-1, '参数type不能为空！');
  }

  switch (_body.type) {
    case 'storeFile':
      //存储文件
      return await storeFile(_body.param);
    default:
      return resultData(-1, '请检查参数type是否有误！');
  }
}

//存储文件
async function storeFile(param) {
  console.log('storeFile', param);
  const _param = param;
  //参数校验
  if (!_param.fileName || !_param.fileBody || !_param.contentType) {
    return resultData(-1, '参数fileName、fileBody或contentType不能为空！');
  }

  try {
    //文件存储
    const res = await uploadAppFile(_param.fileName, _param.fileBody, _param.contentType);
    console.log('文件存储结果：', res)
    if (res && res.$metadata && res.$metadata.httpStatusCode == 200) {
      //获取文件存储的绝对路径
      // const fileUrl = await getAppFileUrl(_param.fileName);
      const bucket = getInternalBucketName();
      const fileUrl = 'https://' + bucket + '.oss.laf.dev/' + _param.fileName;
      return resultData(0, '文件存储成功！', {
        fileUrl: fileUrl,
        fileName: _param.fileName
      });
    }
    return resultData(-1, '文件存储失败！');
  }
  catch (e) {
    return resultData(-1, '出现异常！', e.message);
  }
}

//拼接文件桶名字
function getInternalBucketName() {
  const appid = process.env.APP_ID;
  return `${appid}-${bucketName}`;
}

//上传文件
async function uploadAppFile(key, body, contentType) {
  const bucket = getInternalBucketName();
  const res = await s3Client
    .putObject({
      Bucket: bucket,
      Key: key,
      ContentType: contentType,
      Body: body,
    })
  return res;
}

//获取文件 url
async function getAppFileUrl(key) {
  const bucket = getInternalBucketName();
  const res = await getSignedUrl(s3Client, new GetObjectCommand({
    Bucket: bucket,
    Key: key,
  }));
  return res;
}

//删除文件
async function delAppFileUrl(key) {
  const bucket = getInternalBucketName()
  const res = await s3Client.deleteObject({
    Bucket: bucket,
    Key: key
  });
  return res;
}

//返回结果数据
function resultData(code = -1, msg = '', data = null) {
  return { code, msg, data }
}

3.文件上传功能的封装
云函数“upload-file”完整代码如下：

import cloud from '@lafjs/cloud'
const fs = require("fs")

export default async function (ctx: FunctionContext) {
  const _body = ctx.body;
  const _query = ctx.query;
  const _type = _body.type ? _body.type : _query.type;
  //参数校验
  if (!_type) {
    return resultData(-1, '参数type不能为空！');
  }

  const _files = ctx.files;
  switch (_type) {
    case 'uploadFile':
      //上传文件   
      return await uploadFile(_files);
    default:
      return resultData(-1, '请检查参数type是否有误！');
  }
}

//上传文件
async function uploadFile(files) {
  console.log('uploadFile->files', files);

  const _files = files;
  //参数校验
  if (!_files || _files.length == 0) {
    return resultData(-1, '未上传文件！');
  }
  const fileInfo = _files[0];
  if (!fileInfo.filename) {
    return resultData(-1, '文件名称为空！');
  }
  if (!fileInfo.mimetype) {
    return resultData(-1, '文件类型为空！');
  }

  try {
    //获取上传文件的对象
    let fileData = await fs.readFileSync(fileInfo.path);
    let fileName = 'TempFiles/' + fileInfo.filename;
    //检测文件是否有后缀名，且后缀名和类型是否匹配
    let _mimetype = fileInfo.mimetype.split('/');
    if (fileInfo.filename.split('.').length < 2 && fileInfo.filename.indexOf(_mimetype[1]) < 0) {
      //如果上传的图片没有后缀名，则在后面追加类型
      if (_mimetype[0] == 'image') {
        fileName = fileName + '.' + _mimetype[1];
      }
      else {
        //如果图片没有后缀名，则统一以wav的形式存储
        fileInfo.mimetype = 'audio/wave';
        fileName = fileName + '.wav';
      }
    }

    //调用云函数存储文件
    const ret = await cloud.invoke('store-file', {
      body: {
        type: 'storeFile',
        param: {
          fileName: fileName,
          fileBody: fileData,
          contentType: fileInfo.mimetype
        }
      }
    });

    if (ret.code != 0) {
      return resultData(-1, ret.msg);
    }
    //文件类型
    ret.data.fileType = fileInfo.mimetype;
    //文件大小
    ret.data.fileSize = fileInfo.size;
    return ret;
  }
  catch (e) {
    return resultData(-1, '异常错误：' + e.message);
  }
}

//返回结果数据
function resultData(code = -1, msg = '', data = null) {
  return { code, msg, data }
}

4.百度语音技术接口对接
由于百度接口存在“鉴权认证机制”，故在调用接口前需要先获取AccessToken

// 配置百度应用API Key和Secret Key
const apiKey = 'your api key'
const secretKey = 'your secret key'

// 获取AccessToken
async function getAccessToken() {
  let access_token = '';
  try {
    await cloud.fetch({
      url: 'https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id=' + apiKey + '&client_secret=' + secretKey,
      method: 'POST',
      headers: {
        'Content-Type': 'application/json',
        'Accept': 'application/json'
      }
    }).then(function (res) {
      let d = res.data;
      if (res.status == 200 && d.access_token) {
        access_token = d.access_token;
      }
      else {
        console.log('获取AccessToken失败！' + d.error_msg);
      }
    }).catch(function (err) {
      console.log('获取AccessToken异常！', err.message);
    });
  }
  catch (e) {
    console.log('异常错误：' + e.message);
  }
  return access_token;
}

1）短文本转语音
在云函数“baidu-api”主入口中添加如下代码：

export default async function (ctx: FunctionContext) {
  const _body = ctx.body;
  const _query = ctx.query;
  const _type = _body.type ? _body.type : _query.type;
  //参数校验
  if (!_type) {
    return resultData(-1, '参数type不能为空！');
  }

  switch (_type) {
    case 'shortTextToVoice':
      //短文本转语音
      return await shortTextToVoice(_body.param);
    default:
      return resultData(-1, '请检查参数type是否有误！');
  }
}

//返回结果数据
function resultData(code = -1, msg = '', data = null) {
  return { code, msg, data }
}

短文本转语音（方法“shortTextToVoice”）具体实现如下：

//短文本转语音
async function shortTextToVoice(param) {
  console.log('shortTextToVoice', param);
  const _param = param;
  //参数校验
  if (!_param.text) {
    return resultData(-1, '参数text不能为空！');
  }
  if (_param.text.length > 60) {
    return resultData(-1, '不能超过60个汉字或者字母数字！');
  }

  const access_token = await getAccessToken();
  if (!access_token) {
    return resultData(-1, 'AccessToken获取失败！');
  }

  try {
    let _text = _param.text;
    console.log('shortTextToVoice-->text编码后：', _text);
    let _cuid = Math.ceil(Math.random() * 1000000000000);

    let obj = null;
    await cloud.fetch({
      url: 'https://tsn.baidu.com/text2audio',
      method: 'POST',
      headers: {
        'Content-Type': 'application/x-www-form-urlencoded',
        'Accept': '*/*'
      },
      data: {
        'tex': _text, //合成的文本，使用UTF-8编码。不超过60个汉字或者字母数字。
        'tok': access_token, //开放平台获取到的开发者access_token
        'cuid': _cuid, //用户唯一标识，用来计算UV值。建议填写能区分用户的机器 MAC 地址或 IMEI 码，长度为60字符以内
        'ctp': '1', //客户端类型选择，web端填写固定值1
        'lan': 'zh', //固定值zh。语言选择,目前只有中英文混合模式，填写固定值zh
        'spd': _param.spd ? _param.spd : '5', //语速，取值0-15，默认为5中语速
        'pit': _param.pit ? _param.pit : '5', //音调，取值0-15，默认为5中语调
        'vol': _param.vol ? _param.vol : '5', //音量，取值0-15，默认为5中音量（取值为0时为音量最小值，并非为无声）
        'per': _param.per ? _param.per : '1', //基础音库：度小宇=1，度小美=0，度逍遥（基础）=3，度丫丫=4；精品音库：度逍遥（精品）=5003，度小鹿=5118，度博文=106，度小童=110，度小萌=111，度米朵=103，度小娇=5
        'aue': _param.aue ? _param.aue : '3' //3为mp3格式(默认)；4为pcm-16k；5为pcm-8k；6为wav（内容同pcm-16k）; 注意aue=4或者6是语音识别要求的格式，但是音频内容不是语音识别要求的自然人发音，所以识别效果会受影响。
      },
      responseType: 'stream',
    }).then(function (res) {
      let content_type = res.headers['content-type'];
      if (res.status == 200 && content_type && content_type.toLowerCase().indexOf('audio') > -1) {
        obj = resultData(0, '成功！', res.data);
      }
      else {
        obj = resultData(-1, '语音合成失败，err_detail:' + res.data.err_detail);
      }
    }).catch(function (err) {
      console.log('短文本转语音异常！', err.message);
      obj = resultData(-1, '语音合成异常：' + err.message);
    });

    //语音合成成功，存储文件
    if (obj.code == 0) {
      let fileName = 'TextToVoice/' + _cuid;
      let _aue = _param.aue ? _param.aue : '3';
      switch (_aue) {
        case '4':
        case '5':
          fileName = fileName + '.pcm';
          break;
        case '6':
          fileName = fileName + '.wav';
          break;
        default:
          fileName = fileName + '.mp3';
          break;
      }
      //调用云函数存储文件
      const ret = await cloud.invoke('store-file', {
        body: {
          type: 'storeFile',
          param: {
            fileName: fileName,
            fileBody: obj.data,
            contentType: 'application/octet-stream'
          }
        }
      });
      if (ret.code == 0) {
        obj = resultData(0, '语音合成成功！', ret.data);
      }
      else {
        obj = resultData(-1, ret.msg);
      }
    }
    return obj;
  }
  catch (e) {
    return resultData(-1, '异常错误：' + e.message);
  }
}

当文本成功转换成语音后，会将音频文件存放到 Laf 云存储中。使用Apipost调用如下：

{
    "type": "shortTextToVoice",
    "param": {
        "text": "今天五月初五端午节，祝大家端午节安康！"
    }
}

在这里插入图片描述
在这里插入图片描述
2）长文本转语音
由于长文本和短文本不一样，当内容过多之后不能实时的返回音频文件，故需要先创建任务，然后再通过任务ID去查询生成的音频文件
在云函数“baidu-api”主入口中增加“长文本转语音-创建任务”和“长文本转语音-查询任务结果”，具体代码如下：

export default async function (ctx: FunctionContext) {
  const _body = ctx.body;
  const _query = ctx.query;
  const _type = _body.type ? _body.type : _query.type;
  //参数校验
  if (!_type) {
    return resultData(-1, '参数type不能为空！');
  }

  switch (_type) {
    case 'shortTextToVoice':
      //短文本转语音
      return await shortTextToVoice(_body.param);
    case 'longTextToVoice':
      //长文本转语音-创建任务
      return await longTextToVoice(_body.param);
    case 'searchTextToVoice':
      //长文本转语音-查询任务结果
      return await searchTextToVoice(_body.param);
    default:
      return resultData(-1, '请检查参数type是否有误！');
  }
}

长文本转语音-创建任务（方法“longTextToVoice”）具体实现如下：


//长文本转语音-创建任务
async function longTextToVoice(param) {
  console.log('longTextToVoice', param);
  const _param = param;
  //参数校验
  if (!_param.text || _param.text.length == 0) {
    return resultData(-1, '参数text不能为空！');
  }

  const access_token = await getAccessToken();
  if (!access_token) {
    return resultData(-1, 'AccessToken获取失败！');
  }

  try {
    let obj = null;
    await cloud.fetch({
      url: 'https://aip.baidubce.com/rpc/2.0/tts/v1/create?access_token=' + access_token,
      method: 'POST',
      headers: {
        'Content-Type': 'application/json',
        'Accept': 'application/json'
      },
      data: {
        'text': _param.text, //待合成的文本，需要为UTF-8编码；输入多段文本时，文本间会插入1s长度的空白间隔。总字数不超过10万个字符，1个中文字、英文字母、数字或符号均算作1个字符
        'format': _param.format ? _param.format : 'mp3-16k', //音频格式：'mp3-16k'，'mp3-48k'，'wav'，'pcm-8k'，'pcm-16k'，默认为mp3-16k
        'voice': _param.voice ? _param.voice : 0, //基础音库：度小宇=1，度小美=0，度逍遥（基础）=3，度丫丫=4；精品音库：度逍遥（精品）=5003，度小鹿=5118，度博文=106，度小童=110，度小萌=111，度米朵=103，度小娇=5。默认为度小美
        'lang': 'zh', //固定值zh。语言选择,目前只有中英文混合模式，填写固定值zh
        'speed': _param.speed ? _param.speed : 5, //语速，取值0-15，默认为5中语速
        'pitch': _param.pitch ? _param.pitch : 5, //音调，取值0-15，默认为5中语调
        'volume': _param.volume ? _param.volume : 5, //音量，取值0-15，默认为5中音量（取值为0时为音量最小值，并非为无声）
        'enable_subtitle': _param.enable_subtitle ? _param.enable_subtitle : '0', //是否开启字幕：取值范围0, 1, 2，默认为0。0表示不开启字幕，1表示开启句级别字幕，2表示开启词级别字幕
      }
    }).then(function (res) {
      let d = res.data;
      if (res.status == 200 && d.task_id) {
        obj = resultData(0, '长文本转语音成功！', d);
      }
      else {
        obj = resultData(-1, '长文本转语音失败！' + d.error_msg);
      }
    }).catch(function (err) {
      console.log('长文本转语音异常！', err.message);
      obj = resultData(-1, '长文本转语音异常：' + err.message);
    });

    return obj;
  }
  catch (e) {
    return resultData(-1, '异常错误：' + e.message);
  }
}

使用Apipost调用结果如下：


{
    "type": "longTextToVoice",
    "param": {
        "text": ["今天五月初五端午节","祝大家端午节安康！"]
    }
}

在这里插入图片描述
长文本转语音-查询任务结果（方法“searchTextToVoice”）具体实现如下：

//长文本转语音-查询任务结果
async function searchTextToVoice(param) {
  console.log('searchTextToVoice', param);
  const _param = param;
  //参数校验
  if (!_param.taskIds || _param.taskIds == 0) {
    return resultData(-1, '参数taskIds不能为空！');
  }

  const access_token = await getAccessToken();
  if (!access_token) {
    return resultData(-1, 'AccessToken获取失败！');
  }

  try {
    let obj = null;
    //长文本转语音-查询任务
    await cloud.fetch({
      url: 'https://aip.baidubce.com/rpc/2.0/tts/v1/query?access_token=' + access_token,
      method: 'POST',
      headers: {
        'Content-Type': 'application/json',
        'Accept': 'application/json'
      },
      data: {
        'task_ids': _param.taskIds, //任务id，推荐一次查询多个任务id，单次最多可查询200个
      }
    }).then(function (res) {
      let d = res.data;
      if (res.status == 200 && d.tasks_info) {
        obj = resultData(0, '长文本转语音-查询成功！', d.tasks_info);
      }
      else {
        obj = resultData(-1, '长文本转语音-查询失败！' + d.error_msg);
      }
    }).catch(function (err) {
      console.log('长文本转语音-查询异常！', err.message);
      obj = resultData(-1, '长文本转语音-查询异常：' + err.message);
    });

    return obj;
  }
  catch (e) {
    return resultData(-1, '异常错误：' + e.message);
  }
}

使用Apipost调用结果如下：

{
    "type": "searchTextToVoice",
    "param": {
        "taskIds": ["6480b88bcde4bf0001132035"]
    }
}

在这里插入图片描述
3）音频转写
由于音频文件一般比较大，且上传之后需要时间解析，故需要先单独将音频文件上传，然后通过返回的文件url去调用创建任务接口，最后再通过任务ID去查询生成的文本内容
使用Apipost调用云函数“upload-file”接口结果如下：
在这里插入图片描述
在这里插入图片描述
在云函数“baidu-api”主入口中增加“音频转写-创建任务”和“音频转写-查询任务结果”，具体代码如下：

export default async function (ctx: FunctionContext) {
  const _body = ctx.body;
  const _query = ctx.query;
  const _type = _body.type ? _body.type : _query.type;
  //参数校验
  if (!_type) {
    return resultData(-1, '参数type不能为空！');
  }

  switch (_type) {
    case 'shortTextToVoice':
      //短文本转语音
      return await shortTextToVoice(_body.param);
    case 'longTextToVoice':
      //长文本转语音-创建任务
      return await longTextToVoice(_body.param);
    case 'searchTextToVoice':
      //长文本转语音-查询任务结果
      return await searchTextToVoice(_body.param);
    case 'createVoiceToText':
      //音频转写-创建任务      
      return await createVoiceToText(_body.param);
    case 'searchVoiceToText':
      //音频转写-查询任务结果
      return await searchVoiceToText(_body.param);
    default:
      return resultData(-1, '请检查参数type是否有误！');
  }
}

长文本转语音-创建任务（方法“longTextToVoice”）具体实现如下：

//音频转写-创建任务
async function createVoiceToText(param) {
  console.log('voiceToText->param', param);
  const _param = param;
  if (!_param.fileUrl || !_param.fileType || _param.fileType.toLowerCase().indexOf('audio') < 0) {
    return resultData(-1, '请上传音频文件！');
  }
  if (!_param.fileName) {
    return resultData(-1, '文件名称不能为空');
  }
  const _format = ['mp3', 'wav', 'pcm', 'm4a', 'amr'];
  let _fileName = _param.fileName.toLowerCase().split('.');
  if (_format.indexOf(_fileName[1]) < 0) {
    return resultData(-1, '仅支持mp3、wav、pcm、m4a、amr格式的音频文件！');
  }
  const limitSize = 50 * 1024 * 1024;
  if (!_param.fileSize || _param.fileSize > limitSize) {
    return resultData(-1, '音频文件大小不能超过50M！');
  }
  const access_token = await getAccessToken();
  if (!access_token) {
    return resultData(-1, 'AccessToken获取失败！');
  }

  try {
    //文件格式
    let fileFormat = _param.fileName.split('.')[1];
    let obj = null;
    await cloud.fetch({
      url: 'https://aip.baidubce.com/rpc/2.0/aasr/v1/create?access_token=' + access_token,
      method: 'POST',
      headers: {
        'Content-Type': 'application/json',
        'Accept': 'application/json'
      },
      data: {
        'speech_url': _param.fileUrl, //音频url，云端可外网访问的url链接，音频大小不超过500MB
        'format': fileFormat, //音频格式，['mp3', 'wav', 'pcm','m4a','amr']单声道，编码 16bits 位深
        'pid': _param && _param.pid ? _param.pid : 80001, //语言类型，[80001（中文语音近场识别模型极速版）, 80006（中文音视频字幕模型，1737（英文模型）]
        'rate': 16000 //采样率，[16000] 固定值
      }
    }).then(function (res) {
      let d = res.data;
      if (res.status == 200 && d.task_id) {
        obj = resultData(0, '音频转写成功！', d);
      }
      else {
        obj = resultData(-1, '音频转写失败！' + d.error_msg);
      }
    }).catch(function (err) {
      console.log('音频转写异常！', err.message);
      obj = resultData(-1, '音频转写异常：' + err.message);
    });

    return obj;
  }
  catch (e) {
    return resultData(-1, '异常错误：' + e.message);
  }
}

使用Apipost调用结果如下：

{
    "type": "createVoiceToText",
    "param": {
        "fileUrl": "https://l1ygg3-store-file.oss.laf.dev/TempFiles/96bcdd36-373a-4031-b843-33d45c17dc03.mp3",
    "fileName": "TempFiles/96bcdd36-373a-4031-b843-33d45c17dc03.mp3",
    "fileType": "audio/mpeg",
    "fileSize": 1001504
    }
}

在这里插入图片描述
长文本转语音-查询任务结果（方法“searchTextToVoice”）具体实现如下：

//音频转写-查询任务结果
async function searchVoiceToText(param) {
  console.log('searchVoiceToText', param);
  const _param = param;
  //参数校验
  if (!_param.taskIds || _param.taskIds.length == 0) {
    return resultData(-1, '参数taskIds不能为空！');
  }

  const access_token = await getAccessToken();
  if (!access_token) {
    return resultData(-1, 'AccessToken获取失败！');
  }

  try {
    let obj = null;
    //音频转写-查询任务
    await cloud.fetch({
      url: 'https://aip.baidubce.com/rpc/2.0/aasr/v1/query?access_token=' + access_token,
      method: 'POST',
      headers: {
        'Content-Type': 'application/json',
        'Accept': 'application/json'
      },
      data: {
        'task_ids': _param.taskIds, //任务id，推荐一次查询多个任务id，单次最多可查询200个
      }
    }).then(function (res) {
      let d = res.data;
      if (res.status == 200 && d.tasks_info) {
        obj = resultData(0, '音频转写-查询成功！', d.tasks_info);
      }
      else {
        obj = resultData(-1, '音频转写-查询失败！' + d.error_msg);
      }
    }).catch(function (err) {
      console.log('音频转写-查询异常！', err.message);
      obj = resultData(-1, '音频转写-查询异常：' + err.message);
    });

    return obj;
  }
  catch (e) {
    return resultData(-1, '异常错误：' + e.message);
  }
}

使用Apipost调用结果如下：

{
    "type": "searchVoiceToText",
    "param": {
        "taskIds": ["649469dd3157480001d81a28"]
    }
}

在这里插入图片描述
以上便是 Laf 结合百度语音技术实现文本与语音之间的互转示例。
最后，云函数“baidu-api”完整代码如下：

import cloud from '@lafjs/cloud'

// 配置百度应用API Key和Secret Key
const apiKey = 'your api key'
const secretKey = 'your secret key'

export default async function (ctx: FunctionContext) {
  const _body = ctx.body;
  const _query = ctx.query;
  const _type = _body.type ? _body.type : _query.type;
  //参数校验
  if (!_type) {
    return resultData(-1, '参数type不能为空！');
  }

  switch (_type) {
    case 'shortTextToVoice':
      //短文本转语音
      return await shortTextToVoice(_body.param);
    case 'longTextToVoice':
      //长文本转语音-创建任务
      return await longTextToVoice(_body.param);
    case 'searchTextToVoice':
      //长文本转语音-查询任务结果
      return await searchTextToVoice(_body.param);
    case 'createVoiceToText':
      //音频转写-创建任务      
      return await createVoiceToText(_body.param);
    case 'searchVoiceToText':
      //音频转写-查询任务结果
      return await searchVoiceToText(_body.param);
    default:
      return resultData(-1, '请检查参数type是否有误！');
  }
}

//短文本转语音
async function shortTextToVoice(param) {
  console.log('shortTextToVoice', param);
  const _param = param;
  //参数校验
  if (!_param.text) {
    return resultData(-1, '参数text不能为空！');
  }
  if (_param.text.length > 60) {
    return resultData(-1, '不能超过60个汉字或者字母数字！');
  }

  const access_token = await getAccessToken();
  if (!access_token) {
    return resultData(-1, 'AccessToken获取失败！');
  }

  try {
    let _text = _param.text;
    console.log('shortTextToVoice-->text编码后：', _text);
    let _cuid = Math.ceil(Math.random() * 1000000000000);

    let obj = null;
    await cloud.fetch({
      url: 'https://tsn.baidu.com/text2audio',
      method: 'POST',
      headers: {
        'Content-Type': 'application/x-www-form-urlencoded',
        'Accept': '*/*'
      },
      data: {
        'tex': _text, //合成的文本，使用UTF-8编码。不超过60个汉字或者字母数字。
        'tok': access_token, //开放平台获取到的开发者access_token
        'cuid': _cuid, //用户唯一标识，用来计算UV值。建议填写能区分用户的机器 MAC 地址或 IMEI 码，长度为60字符以内
        'ctp': '1', //客户端类型选择，web端填写固定值1
        'lan': 'zh', //固定值zh。语言选择,目前只有中英文混合模式，填写固定值zh
        'spd': _param.spd ? _param.spd : '5', //语速，取值0-15，默认为5中语速
        'pit': _param.pit ? _param.pit : '5', //音调，取值0-15，默认为5中语调
        'vol': _param.vol ? _param.vol : '5', //音量，取值0-15，默认为5中音量（取值为0时为音量最小值，并非为无声）
        'per': _param.per ? _param.per : '1', //基础音库：度小宇=1，度小美=0，度逍遥（基础）=3，度丫丫=4；精品音库：度逍遥（精品）=5003，度小鹿=5118，度博文=106，度小童=110，度小萌=111，度米朵=103，度小娇=5
        'aue': _param.aue ? _param.aue : '3' //3为mp3格式(默认)；4为pcm-16k；5为pcm-8k；6为wav（内容同pcm-16k）; 注意aue=4或者6是语音识别要求的格式，但是音频内容不是语音识别要求的自然人发音，所以识别效果会受影响。
      },
      responseType: 'stream',
    }).then(function (res) {
      let content_type = res.headers['content-type'];
      if (res.status == 200 && content_type && content_type.toLowerCase().indexOf('audio') > -1) {
        obj = resultData(0, '成功！', res.data);
      }
      else {
        obj = resultData(-1, '语音合成失败，err_detail:' + res.data.err_detail);
      }
    }).catch(function (err) {
      console.log('短文本转语音异常！', err.message);
      obj = resultData(-1, '语音合成异常：' + err.message);
    });

    //语音合成成功，存储文件
    if (obj.code == 0) {
      let fileName = 'TextToVoice/' + _cuid;
      let _aue = _param.aue ? _param.aue : '3';
      switch (_aue) {
        case '4':
        case '5':
          fileName = fileName + '.pcm';
          break;
        case '6':
          fileName = fileName + '.wav';
          break;
        default:
          fileName = fileName + '.mp3';
          break;
      }
      //调用云函数存储文件
      const ret = await cloud.invoke('store-file', {
        body: {
          type: 'storeFile',
          param: {
            fileName: fileName,
            fileBody: obj.data,
            contentType: 'application/octet-stream'
          }
        }
      });
      if (ret.code == 0) {
        obj = resultData(0, '语音合成成功！', ret.data);
      }
      else {
        obj = resultData(-1, ret.msg);
      }
    }
    return obj;
  }
  catch (e) {
    return resultData(-1, '异常错误：' + e.message);
  }
}

//长文本转语音-创建任务
async function longTextToVoice(param) {
  console.log('longTextToVoice', param);
  const _param = param;
  //参数校验
  if (!_param.text || _param.text.length == 0) {
    return resultData(-1, '参数text不能为空！');
  }

  const access_token = await getAccessToken();
  if (!access_token) {
    return resultData(-1, 'AccessToken获取失败！');
  }

  try {
    let obj = null;
    await cloud.fetch({
      url: 'https://aip.baidubce.com/rpc/2.0/tts/v1/create?access_token=' + access_token,
      method: 'POST',
      headers: {
        'Content-Type': 'application/json',
        'Accept': 'application/json'
      },
      data: {
        'text': _param.text, //待合成的文本，需要为UTF-8编码；输入多段文本时，文本间会插入1s长度的空白间隔。总字数不超过10万个字符，1个中文字、英文字母、数字或符号均算作1个字符
        'format': _param.format ? _param.format : 'mp3-16k', //音频格式：'mp3-16k'，'mp3-48k'，'wav'，'pcm-8k'，'pcm-16k'，默认为mp3-16k
        'voice': _param.voice ? _param.voice : 0, //基础音库：度小宇=1，度小美=0，度逍遥（基础）=3，度丫丫=4；精品音库：度逍遥（精品）=5003，度小鹿=5118，度博文=106，度小童=110，度小萌=111，度米朵=103，度小娇=5。默认为度小美
        'lang': 'zh', //固定值zh。语言选择,目前只有中英文混合模式，填写固定值zh
        'speed': _param.speed ? _param.speed : 5, //语速，取值0-15，默认为5中语速
        'pitch': _param.pitch ? _param.pitch : 5, //音调，取值0-15，默认为5中语调
        'volume': _param.volume ? _param.volume : 5, //音量，取值0-15，默认为5中音量（取值为0时为音量最小值，并非为无声）
        'enable_subtitle': _param.enable_subtitle ? _param.enable_subtitle : '0', //是否开启字幕：取值范围0, 1, 2，默认为0。0表示不开启字幕，1表示开启句级别字幕，2表示开启词级别字幕
      }
    }).then(function (res) {
      let d = res.data;
      if (res.status == 200 && d.task_id) {
        obj = resultData(0, '长文本转语音成功！', d);
      }
      else {
        obj = resultData(-1, '长文本转语音失败！' + d.error_msg);
      }
    }).catch(function (err) {
      console.log('长文本转语音异常！', err.message);
      obj = resultData(-1, '长文本转语音异常：' + err.message);
    });

    return obj;
  }
  catch (e) {
    return resultData(-1, '异常错误：' + e.message);
  }
}

//长文本转语音-查询任务结果
async function searchTextToVoice(param) {
  console.log('searchTextToVoice', param);
  const _param = param;
  //参数校验
  if (!_param.taskIds || _param.taskIds == 0) {
    return resultData(-1, '参数taskIds不能为空！');
  }

  const access_token = await getAccessToken();
  if (!access_token) {
    return resultData(-1, 'AccessToken获取失败！');
  }

  try {
    let obj = null;
    //长文本转语音-查询任务
    await cloud.fetch({
      url: 'https://aip.baidubce.com/rpc/2.0/tts/v1/query?access_token=' + access_token,
      method: 'POST',
      headers: {
        'Content-Type': 'application/json',
        'Accept': 'application/json'
      },
      data: {
        'task_ids': _param.taskIds, //任务id，推荐一次查询多个任务id，单次最多可查询200个
      }
    }).then(function (res) {
      let d = res.data;
      if (res.status == 200 && d.tasks_info) {
        obj = resultData(0, '长文本转语音-查询成功！', d.tasks_info);
      }
      else {
        obj = resultData(-1, '长文本转语音-查询失败！' + d.error_msg);
      }
    }).catch(function (err) {
      console.log('长文本转语音-查询异常！', err.message);
      obj = resultData(-1, '长文本转语音-查询异常：' + err.message);
    });

    return obj;
  }
  catch (e) {
    return resultData(-1, '异常错误：' + e.message);
  }
}

//音频转写-创建任务
async function createVoiceToText(param) {
  console.log('voiceToText->param', param);
  const _param = param;
  if (!_param.fileUrl || !_param.fileType || _param.fileType.toLowerCase().indexOf('audio') < 0) {
    return resultData(-1, '请上传音频文件！');
  }
  if (!_param.fileName) {
    return resultData(-1, '文件名称不能为空');
  }
  const _format = ['mp3', 'wav', 'pcm', 'm4a', 'amr'];
  let _fileName = _param.fileName.toLowerCase().split('.');
  if (_format.indexOf(_fileName[1]) < 0) {
    return resultData(-1, '仅支持mp3、wav、pcm、m4a、amr格式的音频文件！');
  }
  const limitSize = 50 * 1024 * 1024;
  if (!_param.fileSize || _param.fileSize > limitSize) {
    return resultData(-1, '音频文件大小不能超过50M！');
  }
  const access_token = await getAccessToken();
  if (!access_token) {
    return resultData(-1, 'AccessToken获取失败！');
  }

  try {
    //文件格式
    let fileFormat = _param.fileName.split('.')[1];
    let obj = null;
    await cloud.fetch({
      url: 'https://aip.baidubce.com/rpc/2.0/aasr/v1/create?access_token=' + access_token,
      method: 'POST',
      headers: {
        'Content-Type': 'application/json',
        'Accept': 'application/json'
      },
      data: {
        'speech_url': _param.fileUrl, //音频url，云端可外网访问的url链接，音频大小不超过500MB
        'format': fileFormat, //音频格式，['mp3', 'wav', 'pcm','m4a','amr']单声道，编码 16bits 位深
        'pid': _param && _param.pid ? _param.pid : 80001, //语言类型，[80001（中文语音近场识别模型极速版）, 80006（中文音视频字幕模型，1737（英文模型）]
        'rate': 16000 //采样率，[16000] 固定值
      }
    }).then(function (res) {
      let d = res.data;
      if (res.status == 200 && d.task_id) {
        obj = resultData(0, '音频转写成功！', d);
      }
      else {
        obj = resultData(-1, '音频转写失败！' + d.error_msg);
      }
    }).catch(function (err) {
      console.log('音频转写异常！', err.message);
      obj = resultData(-1, '音频转写异常：' + err.message);
    });

    return obj;
  }
  catch (e) {
    return resultData(-1, '异常错误：' + e.message);
  }
}

//音频转写-查询任务结果
async function searchVoiceToText(param) {
  console.log('searchVoiceToText', param);
  const _param = param;
  //参数校验
  if (!_param.taskIds || _param.taskIds.length == 0) {
    return resultData(-1, '参数taskIds不能为空！');
  }

  const access_token = await getAccessToken();
  if (!access_token) {
    return resultData(-1, 'AccessToken获取失败！');
  }

  try {
    let obj = null;
    //音频转写-查询任务
    await cloud.fetch({
      url: 'https://aip.baidubce.com/rpc/2.0/aasr/v1/query?access_token=' + access_token,
      method: 'POST',
      headers: {
        'Content-Type': 'application/json',
        'Accept': 'application/json'
      },
      data: {
        'task_ids': _param.taskIds, //任务id，推荐一次查询多个任务id，单次最多可查询200个
      }
    }).then(function (res) {
      let d = res.data;
      if (res.status == 200 && d.tasks_info) {
        obj = resultData(0, '音频转写-查询成功！', d.tasks_info);
      }
      else {
        obj = resultData(-1, '音频转写-查询失败！' + d.error_msg);
      }
    }).catch(function (err) {
      console.log('音频转写-查询异常！', err.message);
      obj = resultData(-1, '音频转写-查询异常：' + err.message);
    });

    return obj;
  }
  catch (e) {
    return resultData(-1, '异常错误：' + e.message);
  }
}

// 获取AccessToken
async function getAccessToken() {
  let access_token = '';
  try {
    await cloud.fetch({
      url: 'https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id=' + apiKey + '&client_secret=' + secretKey,
      method: 'POST',
      headers: {
        'Content-Type': 'application/json',
        'Accept': 'application/json'
      }
    }).then(function (res) {
      let d = res.data;
      if (res.status == 200 && d.access_token) {
        access_token = d.access_token;
      }
      else {
        console.log('获取AccessToken失败！' + d.error_msg);
      }
    }).catch(function (err) {
      console.log('获取AccessToken异常！', err.message);
    });
  }
  catch (e) {
    console.log('异常错误：' + e.message);
  }
  return access_token;
}

//返回结果数据
function resultData(code = -1, msg = '', data = null) {
  return { code, msg, data }
}
Jokeny_gyh
关注
专栏目录
Laf 实现语音文本相互转换，直接让 GPT 开口说话
Maynor的博客
06-26 984
字符总长度不能超过十万。由于长文本和短文本不一样，当内容过多之后不能实时的返回音频文件，故需要先创建任务，然后再通过任务 ID 去查询生成的音频文件。同样的我们运行之后会得到一个任务 ID 我们需要根据这个任务的 ID 来查询转换之后的结果。然后我们根据这个任务的 ID 来查询转换之后的音频文件，继续调用此函数传入以下参数。OK 这里我们就获得了短文本转音频后的音频文件的 URL。调用后我们会得到这个任务目前的状态和音频文件的 URL。这样我们就创建了一个任务，并且得到了这个任务的 ID。
python tts 保存_TTS：文本语音转换，支持粤语和普通话Python视频编辑自动化,视频剪辑...
weixin_39645249的博客
03-01 939
直接贴代码:"""Author: JoshuaFocus: Bilibili@NBody编程那些事Description: 利用百度翻译接口, 实现文本转语音"""import requestsfrom pathlib import Pathfrom argparse import ArgumentParserdef get_tts(text:str, *, lan:str='zh', spd:i...
Android语音识别
知识搬运工，资料任你拿，包括书籍、电影、电视剧、网站、软件等，VX公人人人号：向前书局
12-06 3266
一、Android 提供了三种方式： 语音识别方法一：使用intent调用语音识别程序 1. 说明 以下例程功能为：在应用程序中使用intent来调出语言识别界面，录音并识别后将识别的字串返回给应用程序。注意：使用前需要安装语音识别程序如语音搜索。 2. 本例参考自android例程： development/samples/ApiDemos/src/
百度智能云实现文字转语音
tzwj1983的博客
11-07 1151
百度智能云实现文字转语音 用tkinter写的界面，需要自己申请百度智能云的APP_ID、API_KEY 、SECRET_KEY =效果图如下： 实现代码如下: import tkinter as tk import tkinter.ttk as ttk import tkinter.filedialog import tkinter.messagebox import requests from aip import AipSpeech class Application: def __ini
百度智能云文字转语音
倔强禅师的博客
11-22 3518
使用百度智能云文字转语音服务还是蛮简单的，很容易上手 1.创建应用 首先要做的就是进入百度智能云后台界面，创建一个应用，复制API Key和Secret Key到我们的应用当中 百度智能云后台管理中心 2.编写文字转换语音工具类 import lombok.experimental.UtilityClass; import java.io.File; import java.io.FileOutputStream; import java.net.HttpURLConnection; import
laravel引用百度语音识别api
php的绯闻女友
10-04 255
speech-demo/asr_json.php at master · Baidu-AIP/speech-demo · GitHub语音api示例. Contribute to Baidu-AIP/speech-demo development by creating an account on GitHub.https://github.com/Baidu-AIP/speech-demo/blob/master/rest-api-asr/php/asr_json.php public functio
Laf 云开发平台及其实现原理
favxxx的博客
09-20 235
大家好，我是来自 Laf 团队的王子俊，很高兴今天能在这里给大家分享我们** Laf 云开发平台及其实现原理**。本来想说一点什么天气之类的话作为开头，但主持人都说完啦，我就不多说了，还是直接开始今天的分享吧。在准备 PPT 的时候，我想过很多种的方式来介绍我们是一个什么样的产品，但后来我发现在我们文档和官网上面这两句话完全就可以说明我们是一个什么样的产品:第一就是说我们是一个像写博客一样，写代码可以随时随地上线。其次就是专注业务本身，让开发者能快速地释放创意。为什么说像写博客一样呢?
零基础手把手教你如何使用Laf免费玩转Midjourney
Happiness is everywhere
05-23 2462
Laf 是一个 Serverless 框架，提供开箱即用的云函数，云数据库，对象存储等能力，是一个非常干净清爽的开发平台，不仅入门简单，还能像写博客一样写代码！最重要的是，敲重点，三分钟即可上线 ChatGPT 应用！
Laf v1.0 发布：函数计算只有两种，30s 放弃的和 30s 上线的
favxxx的博客
09-15 92
那么是否存在一种新模式，可以让开发者只专注于业务呢？目前解决这个问题最主流的方案就是 Serverless 架构，也就是所谓的。开发者只需要专注于代码质量和代码逻辑，不需要关心基础设施，也不需要关心后端服务，一切都由平台给你自动分配资源。但这个平台从哪来？毕竟 Serverless 只是一个，要想落地，还得实现一个真正的产品。这样的产品其实国内有很多，也就是所谓的服务。
Fastgpt接入ChatTTS本地AI语音合成模型实现语音实时朗读
最新发布
洛阳泰山的博客
07-22 3848
如果你对文章的内容有疑问，或者有想法像联系我，请在评论区留言或者私信我，我几乎每天，早中晚都会看平台的评论和消息。
Fastgpt接入Whisper本地模型实现语音识别输入
洛阳泰山的博客
06-06 2526
FastGPT 默认使用了 OpenAI 的 LLM 模型和语音识别模型，如果想要私有化部署的话，可以使用openai 开源模型Whisper。参考文章开源项目地址 ：兼容openai接口api服务。
python爬虫---百度翻译的爬取及可视化
m0_53419397的博客
04-29 3216
实现的效果 可视化界面由于作者的审美有限，所以有点丑，但是还是讲究可以看一下，主要的功能没有改变，博友们也可以根据自己的喜好改变一下。 原理 这里我们使用百度翻译网页，对上面的翻译内容进行爬取，至于音频，我们也可以将其爬取下来，并进行本地保存和播放。 一、翻译内容以及播放的音频的爬取 （1）找到目标网页 一、翻译结果 我们先对目标网页进行踩点，我们先使用F12进行检查，打开network，然后随便输入一个词语，观看网页返回信息的变化。当我们在查看XHR里的内容时，发现了我们需要的信息。 点击右侧的pr
基于长度感知框架的同步机器翻译的位置偏差分析与改进
+v：mala2277获取更多论文基于长度感知框架张少磊1，2，杨锋1，21智能信息处理中国科学院计算技术研究所（ICT/CAS）2中国科学院大学，中国{zhangshaolei20z，fengyang}@ict.ac.cn摘要同步机器翻译（SiMT）在接收流源...
python实现语音转文本
一只程序猿子的博客
11-26 2597
本文将介绍Python实现语音转文本的方法.你可以在你的项目中添加语音转文本的功能.
百度Al在线语音合成(简单版)
clisks的博客
06-07 7260
百度Al在线语音合成(简单版) 1.登录网址 https://ai.baidu.com/tech/speech/tts 点击跳转 2.登录百度账号并创建应用 在应用列表创建新应用：全部默认。应用名称与描述自己填写 创建好得到如图： 创建成功后得到APIKey和SecretKey，替换到以下网址中 https://openapi.baidu.com/oauth/2.0/token?grant_type=client_credentials&client_id=APIKEY&clie
android面试Java基础
m0_57077948的博客
07-31 352
01 Java技术概览 02Java开发工具及环境设置 03Java语言中的数据类型与运算符 04程序设计中的流程控制 05数组 06字符串的处理 07 类和对象 08重载和包 09继承和多态 第10章 接口与内部类 最后 给大家送上一份福利，领取方式：戳这里免费下载 Java架构进阶面试及知识点文档笔记 这份文档共498页，其中包括Java集合，并发编程，JVM，Dubbo,Redis，Spring全家桶，MySQL，Kafka等面试解析及知识点整理 Java
30 秒内使用 Laf 将文本转换为萝莉音并大声朗诵
favxxx的博客
09-19 218
Laf 是一款为所有开发者打造的集函数、数据库、存储为一体的云开发平台，助你像写博客一样写代码，随时随地发布上线应用！，这是个什么概念呢，任何人都可以在这里分享自己的云函数，别人如果想要使用只需要点一下立马同步到你的应用中！怎么样有了云函数市场的加持，是不是非常的丝滑，以前需要三分钟的东西现在只需要三十秒～首先打开你的 Laf 在创建云函数这里看到推荐模板。哦，我的老天鹅呀快看看这是什么，这就是刚刚出炉的。然后你会发现的云函数列表中多了三个云函数。到这个页面后找到右上角的使用模板，点它！
Laf结合七牛云对象存储轻松实现文件上传
Happiness is everywhere
06-21 328
Laf结合七牛云对象存储轻松实现文件上传
unity 用百度智能云文字转语音
07-27
Unity 是一款跨平台的游戏开发引擎，可以用于开发各种类型的游戏。而百度智能云的文字转语音功能可以将文字转换为语音播放出来。那么，Unity 可以利用百度智能云文字转语音的功能实现游戏中的语音播放。 首先，我们需要在 Unity 中导入百度智能云提供的 SDK。通过使用 SDK，我们可以与百度智能云的服务进行通信。然后，我们需要在游戏中添加一个文字转语音的功能按钮或界面，来接收用户输入的文字。 当用户输入需要转换为语音的文字后，通过调用百度智能云的接口，将文字发送给百度智能云进行语音合成处理。百度智能云将根据文字内容，生成对应的语音文件。 接下来，我们可以将生成的语音文件下载到本地，或者直接播放在线音频。在 Unity 中，我们可以利用 Audio Source 组件来播放语音文件，或者使用 Unity 自带的音频播放器来播放在线音频。 通过这样的方式，我们可以实现在 Unity 游戏中根据用户输入的文字，将文字转换为语音，并播放出来。这可以用于游戏中的角色对话、游戏提示、场景音效等需要使用语音的场景。 需要注意的是，使用百度智能云文字转语音功能可能需要进行认证和付费。同时，我们还需要遵守百度智能云的相关使用规定，确保合法合规地使用该服务。 总之，Unity 可以利用百度智能云的文字转语音功能，通过将用户输入的文字转换为语音，丰富游戏的交互体验，为玩家提供更加沉浸式的游戏体验。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值