鸿蒙AI功能开发【hiai引擎框架-文本转语音】 基础视觉服务

最新推荐文章于 2024-08-12 23:09:11 发布
最新推荐文章于 2024-08-12 23:09:11 发布
阅读量597 收藏 4
点赞数 5
分类专栏： 鸿蒙 文章标签： harmonyos 语音识别 华为 人工智能 openharmony 鸿蒙 AI
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_76813281/article/details/141025546
版权

hiai引擎框架-文本转语音

介绍

本示例展示了使用hiai引擎框架提供的文本转语音能力。

本示例展示了对一段中文文本，进行语音合成及播报的能力。

需要使用hiai引擎框架文本转语音接口@kit.CoreSpeechKit.d.ts.

效果预览

1

使用说明：

  1. 在手机的主屏幕，点击”ttsDemo“，启动应用。
  2. 点击“CreateEngine”按钮，进行能力初始化。
  3. 点击“speak”按钮，试听文本播报。
  4. 点击“stop”等按钮对播报进行事件控制。
  5. 点击“listVoicesCallback/listVoicesPromise”查询支持的语种和音色。

具体实现

本示例展示了在@kit.CoreSpeechKit.d.ts定义的API：

  • createEngine(createEngineParams: CreateEngineParams, callback: AsyncCallback): void;
  • createEngine(createEngineParams: CreateEngineParams): Promise;
  • speak(text: string, speakParams: SpeakParams, listener: SpeakListener): void;
  • listVoices(params: VoiceQuery, callback: AsyncCallback): void;
  • listVoices(params: VoiceQuery): Promise;
  • stop(): void;
  • isBusy(): boolean;
  • shutdown(): void;

业务使用时，需要先进行import导入textToSpeech。 调用speak等接口，传入想要识别的文本，试听播报，观察日志等。参考：

import { textToSpeech } from '@kit.CoreSpeechKit';
import { BusinessError } from '@kit.BasicServicesKit';
import { TreeMap } from '@kit.ArkTS';
import { hilog } from '@kit.PerformanceAnalysisKit';
import { UuidBasic } from './UuidBasic';

const TAG: string = 'TtsDemo';
let ttsEngine: textToSpeech.TextToSpeechEngine;

@Entry
@Component
struct Index {
  @State createCount: number = 0;
  @State result: boolean = false;
  @State voiceInfo: string = "";
  @State text: string = "";
  @State textContent: string = "";
  @State utteranceId: string = "123456";
  @State originalText: string = "\n\t\t古人学问无遗力，少壮工夫老始成；\n\t\t" +
    "纸上得来终觉浅，绝知此事要躬行。\n\t\t";
  @State illegalText: string = "";
  private pcmData: TreeMap<number, Uint8Array> = new TreeMap();

  build() {
    Column() {
      Scroll() {
        Column() {
          TextArea({ placeholder: 'Please enter tts original text', text: `${this.originalText}` })
            .margin(20)
            .focusable(false)
            .border({ width: 5, color: 0x317AE7, radius: 10, style: BorderStyle.Dotted })
            .onChange((value: string) => {
              this.originalText = value;
              hilog.info(0x0000, TAG, "original text: " + this.originalText);
            })

          Button() {
            Text("CreateEngine")
              .fontColor(Color.White)
              .fontSize(20)
          }
          .type(ButtonType.Capsule)
          .backgroundColor("#0x317AE7")
          .width("80%")
          .height(50)
          .margin(10)
          .onClick(() => {
            this.createCount++;
            console.log(`createByCallback：createCount:${this.createCount}`);
            this.createByCallback();
          })

          Button() {
            Text("CreateEngineByPromise")
              .fontColor(Color.White)
              .fontSize(20)
          }
          .type(ButtonType.Capsule)
          .backgroundColor("#0x317AE7")
          .width("80%")
          .height(50)
          .margin(10)
          .onClick(() => {
            this.createCount++;
            console.log(`createByPromise：createCount:${this.createCount}`);
            this.createByPromise();
          })

          Button() {
            Text("createOfErrorLanguage")
              .fontColor(Color.White)
              .fontSize(20)
          }
          .type(ButtonType.Capsule)
          .backgroundColor("#0x317AE7")
          .width("80%")
          .height(50)
          .margin(10)
          .onClick(() => {
            this.createCount++;
            console.log(`createOfErrorLanguage：createCount:${this.createCount}`);
            this.createOfErrorLanguage();
          })

          Button() {
            Text("createOfErrorPerson")
              .fontColor(Color.White)
              .fontSize(20)
          }
          .type(ButtonType.Capsule)
          .backgroundColor("#0x317AE7")
          .width("80%")
          .height(50)
          .margin(10)
          .onClick(() => {
            this.createCount++;
            console.log(`createOfErrorPerson：createCount:${this.createCount}`);
            this.createOfErrorPerson();
          })

          Button() {
            Text("speak")
              .fontColor(Color.White)
              .fontSize(20)
          }
          .type(ButtonType.Capsule)
          .backgroundColor("#0x317AE7")
          .width("80%")
          .height(50)
          .margin(10)
          .onClick(() => {
            this.createCount++;
            console.log(`speak：createCount:${this.createCount}`)
            this.speak();
          })

          Button() {
            Text("SpeakIllegalText")
              .fontColor(Color.White)
              .fontSize(20)
          }
          .type(ButtonType.Capsule)
          .backgroundColor("#0x317AE7")
          .width("80%")
          .height(50)
          .margin(10)
          .onClick(() => {
            this.createCount++;
            console.log(`illegalSpeak：createCount:${this.createCount}`)
            this.illegalSpeak();
          })

          Button() {
            Text("listVoicesCallback")
              .fontColor(Color.White)
              .fontSize(20)
          }
          .type(ButtonType.Capsule)
          .backgroundColor("#0x317AE7")
          .width("80%")
          .height(50)
          .margin(10)
          .onClick(() => {
            this.listVoicesCallback();
          })

          Button() {
            Text("listVoicesPromise")
              .fontColor(Color.White)
              .fontSize(20)
          }
          .type(ButtonType.Capsule)
          .backgroundColor("#0x317AE7")
          .width("80%")
          .height(50)
          .margin(10)
          .onClick(() => {
            this.listVoicesPromise();
          })


          Button() {
            Text("stop")
              .fontColor(Color.White)
              .fontSize(20)
          }
          .type(ButtonType.Capsule)
          .backgroundColor("#0x317AE7")
          .width("80%")
          .height(50)
          .margin(10)
          .onClick(() => {
            //停止播报
            hilog.info(0x0000, TAG, "isSpeaking click:-->");
            //this.setListener();
            ttsEngine.stop();
          })

          Button() {
            Text("isBusy")
              .fontColor(Color.White)
              .fontSize(20)
          }
          .type(ButtonType.Capsule)
          .backgroundColor("#0x317AE7")
          .width("80%")
          .height(50)
          .margin(10)
          .onClick(() => {
            hilog.info(0x0000, TAG, "isSpeaking click:-->");
            //查询播报状态
            this.setListener();
            let isBusy: boolean = ttsEngine.isBusy();
            console.log('isBusy :' + isBusy);
          })

          Button() {
            Text("shutdown")
              .fontColor(Color.White)
              .fontSize(20)
          }
          .type(ButtonType.Capsule)
          .backgroundColor("#0x317AA7")
          .width("80%")
          .height(50)
          .margin(10)
          .onClick(() => {
            //释放引擎
            ttsEngine.shutdown();
          })

        }
        .layoutWeight(1)
      }
      .width('100%')
      .height('100%')

    }
  }

  //创建引擎，通过callback形式返回
  //当引擎不存在、引擎资源不存在、初始化超时，返回错误码1002300005，引擎创建失败
  private createByCallback() {
    //设置创建引擎参数
    let extraParam: Record<string, Object> = { "style": 'interaction-broadcast', "locate": 'CN', "name": 'EngineName' }
    let initParamsInfo: textToSpeech.CreateEngineParams = {
      language: 'zh-CN',
      person: 0,
      online: 1,
      extraParams: extraParam
    };
    try {
      //调用createEngine方法
      textToSpeech.createEngine(initParamsInfo, (err: BusinessError, textToSpeechEngine: textToSpeech.TextToSpeechEngine) => {
        if (!err) {
          console.log('createEngine is success');
          //接收创建引擎的实例
          ttsEngine = textToSpeechEngine;
        } else {
          //创建引擎失败时返回错误码1002300005，可能原因：引擎不存在、资源不存在、创建引擎超时
          console.error("errCode is " + JSON.stringify(err.code));
          console.error("errMessage is " + JSON.stringify(err.message));
        }
      });
    } catch (error) {
      let message = (error as BusinessError).message;
      let code = (error as BusinessError).code;
      console.error(`createEngine failed, error code: ${code}, message: ${message}.`)
    }
  }

  //创建引擎，通过promise形式返回
  private createByPromise() {
    //设置创建引擎参数
    let extraParam: Record<string, Object> = { "style": 'interaction-broadcast', "locate": 'CN', "name": 'EngineName' }
    let initParamsInfo: textToSpeech.CreateEngineParams = {
      language: 'zh-CN',
      person: 0,
      online: 1,
      extraParams: extraParam
    };

    //调用createEngine方法
    textToSpeech.createEngine(initParamsInfo).then((res: textToSpeech.TextToSpeechEngine) => {
      ttsEngine = res;
      console.log('result:' + JSON.stringify(res));
    }).catch((res: Object) => {
      console.log('result' + JSON.stringify(res));
    });

  }

  //调用speak播报方法
  //未初始化引擎时调用speak方法，返回错误码1002300007，合成及播报失败
  private async speak() {
    //设置播报相关参数
    let extraParam: Record<string, Object> = {
      "queueMode": 0,
      "speed": 1,
      "volume": 2,
      "pitch": 1,
      "languageContext": 'zh-CN',
      "audioType": "pcm",
      "soundChannel": 1,
      "playType": 1
    }
    let speakParams: textToSpeech.SpeakParams = {
      requestId: UuidBasic.createUUID(),
      extraParams: extraParam
    }
    //设置回调
    this.setListener();
    //调用speak播报方法
    ttsEngine.speak(this.originalText, speakParams);
  }

  //查询语种音色信息，以callback形式返回
  private listVoicesCallback() {
    //设置查询相关参数
    let voicesQuery: textToSpeech.VoiceQuery = {
      requestId: UuidBasic.createUUID(),
      online: 1
    }

    //调用listVoices方法，以callback返回
    ttsEngine.listVoices(voicesQuery, (err: BusinessError, voiceInfo: textToSpeech.VoiceInfo[]) => {
      if (!err) {
        //接收目前支持的语种音色等信息
        this.voiceInfo = JSON.stringify(voiceInfo);
        console.log('voiceInfo is ' + JSON.stringify(voiceInfo));
      } else {
        console.error("error is " + JSON.stringify(err));
      }
    });

  };

  //查询语种音色信息，以promise返回
  private listVoicesPromise() {
    //设置查询相关的参数
    let voicesQuery: textToSpeech.VoiceQuery = {
      requestId: UuidBasic.createUUID(),
      online: 1
    }
    //调用listVoice方法
    ttsEngine.listVoices(voicesQuery).then((res: textToSpeech.VoiceInfo[]) => {
      console.log('voiceInfo:' + JSON.stringify(res));
    }).catch((res: Object) => {
      console.error('error is ' + JSON.stringify(res));
    });
  }

  private setListener() {
    let speakListener: textToSpeech.SpeakListener = {
      //开始播报回调
      onStart(utteranceId: string, response: textToSpeech.StartResponse) {
        console.log('speakListener onStart: ' + ' utteranceId: ' + utteranceId + ' response: ' + JSON.stringify(response));
      },
      //完成播报回调
      onComplete(utteranceId: string, response: textToSpeech.CompleteResponse) {
        console.log('speakListener onComplete: ' + ' utteranceId: ' + utteranceId + ' response: ' + JSON.stringify(response));
      },
      //停止播报完成回调，调用stop方法并完成时会触发此回调
      onStop(utteranceId: string, response: textToSpeech.StopResponse) {
        console.log('speakListener onStop: ' + ' utteranceId: ' + utteranceId + ' response: ' + JSON.stringify(response));
      },
      //返回音频流
      onData(utteranceId: string, audio: ArrayBuffer, response: textToSpeech.SynthesisResponse) {
        console.log('speakListener onData: ' + ' utteranceId: ' + utteranceId + ' sequence: ' + JSON.stringify(response) + ' audio: ' + audio);
      },
      //错误回调，播报过程发生错误时触发此回调
      //未创建引擎时调用speak方法时返回错误码1002300007，合成及播报失败
      //连续调用两次speak，第二次speak会返回错误码1002300006，服务正忙碌
      onError(utteranceId: string, errorCode: number, errorMessage: string) {
        console.error('speakListener onError: ' + ' utteranceId: ' + utteranceId + ' errorCode: ' + errorCode + ' errorMessage: ' + errorMessage);
      }
    };
    // 设置回调
    ttsEngine.setListener(speakListener);
  }

  //使用不支持的语种创建引擎，返回错误码1002300002，语种不支持
  private createOfErrorLanguage() {
    //设置创建引擎参数
    let initParamsInfo: textToSpeech.CreateEngineParams = {
      //不支持的语种
      language: 'ZH-CN',
      person: 0,
      online: 1
    };
    try {
      //调用createEngine方法
      textToSpeech.createEngine(initParamsInfo, (err: BusinessError, textToSpeechEngine: textToSpeech.TextToSpeechEngine) => {
        if (!err) {
          console.log('createEngine is success');
          //接收创建引擎的实例
          ttsEngine = textToSpeechEngine;
        } else {
          //返回错误码1002300002，语种不支持
          console.error("errCode is " + JSON.stringify(err.code));
          console.error("errMessage is " + JSON.stringify(err.message));
        }
      });
    } catch (error) {
      let message = (error as BusinessError).message;
      let code = (error as BusinessError).code;
      console.error(`createEngine failed, error code: ${code}, message: ${message}.`)
    }
  }

  //使用不支持的语种创建引擎，返回错误码1002300003，音色不支持
  private createOfErrorPerson() {
    //设置创建引擎参数
    let initParamsInfo: textToSpeech.CreateEngineParams = {
      language: 'zh-CN',
      //不支持的音色
      person: 1,
      online: 1
    };
    try {
      //调用createEngine方法
      textToSpeech.createEngine(initParamsInfo, (err: BusinessError, textToSpeechEngine: textToSpeech.TextToSpeechEngine) => {
        if (!err) {
          console.log('createEngine is success');
          //接收创建引擎的实例
          ttsEngine = textToSpeechEngine;
        } else {
          //返回错误码1002300003，音色不支持
          console.error("errCode is " + JSON.stringify(err.code));
          console.error("errMessage is " + JSON.stringify(err.message));
        }
      });
    } catch (error) {
      let message = (error as BusinessError).message;
      let code = (error as BusinessError).code;
      console.error(`createEngine failed, error code: ${code}, message: ${message}.`)
    }
  }

  //使用非法文本，调用speak播报方法，返回1002300001，文本长度非法
  private illegalSpeak() {
    this.setListener();
    //设置播报相关参数
    let extraParam: Record<string, Object> = { "speed": 1, "volume": 1, "pitch": 1, "audioType": "pcm" }
    let speakParams: textToSpeech.SpeakParams = {
      requestId: UuidBasic.createUUID(),
      extraParams: extraParam
    }
    //调用speak播报方法
    ttsEngine.speak(this.illegalText, speakParams);
  }
}

以上就是本篇文章所带来的鸿蒙开发中一小部分技术讲解；想要学习完整的鸿蒙全栈技术。可以在结尾找我可全部拿到！
下面是鸿蒙的完整学习路线，展示如下：
1

除此之外，根据这个学习鸿蒙全栈学习路线，也附带一整套完整的学习【文档+视频】，内容包含如下：

内容包含了：（ArkTS、ArkUI、Stage模型、多端部署、分布式应用开发、音频、视频、WebGL、OpenHarmony多媒体技术、Napi组件、OpenHarmony内核、鸿蒙南向开发、鸿蒙项目实战）等技术知识点。帮助大家在学习鸿蒙路上快速成长！

鸿蒙【北向应用开发+南向系统层开发】文档

鸿蒙【基础+实战项目】视频

鸿蒙面经

在这里插入图片描述

为了避免大家在学习过程中产生更多的时间成本，对比我把以上内容全部放在了↓↓↓想要的可以自拿喔！谢谢大家观看！

爱桥代码的程序媛
关注
  • 5
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HCIP-AI_HiAI_Developer实验源码和数据V1.0
01-13
【HCIP-AI_HiAI_Developer实验源码和数据V1.0】是一个针对华为认证的高级智能互联（HCIP-AI）HiAI开发者所设计的资源集合，旨在帮助学习者深入理解和实践华为的人工智能开发平台。这个无删减版本提供了完整的实验...
HCIP-AI HiAI Developer V1.0培训教材.zip
04-02
目录 1.HiAI 快应用和卡片开发 2.自然语言理解理论和应用 3.计算机视觉理论和应用 4.HiAI Engine应用开发 5.深度前馈网络 6.HiAI Foundation应用开发 7.自动语音识别理论和应用 8.HiAI平台概览
鸿蒙AI功能开发【hiai引擎框架-人脸比对】 基础视觉服务
2301_76813281的博客
08-07 510
本示例展示了使用hiai引擎框架提供的人脸比对能力。 本示例模拟了在应用里，选择两张图片，计算两个图中最大人脸的相似度 需要使用hiai引擎框架人脸比对接口@hms.ai.face.faceComparator。
鸿蒙AI功能开发【hiai引擎框架-主体分割】 基础视觉服务
2301_76813281的博客
08-07 483
本示例展示了使用hiai引擎框架提供的主体分割能力。 本示例模拟了在应用里，选择一张图片，识别其图片中的显著性主体并展示出来主体的边界框的数据。 需要使用hiai引擎框架通用文字识别接口@hms.ai.vision.subjectSegmentation.d.ts。
鸿蒙AI功能开发【hiai引擎框架-人脸识别】 基础视觉服务-人脸检查
2301_76813281的博客
08-07 585
本示例展示了使用hiai引擎框架提供的人脸识别能力。 本示例模拟了在应用里，选择一张图片，识别其多个人脸信息并展示出来。包括人脸框、五官点位、置信度、人脸朝向（欧拉角） 需要使用hiai引擎框架通用文字识别接口@hms.ai.face.faceDetector。
鸿蒙AI功能开发【hiai引擎框架-语音识别】 基础语音服务
2301_76813281的博客
08-08 509
本示例展示了使用hiai引擎框架提供的语音识别能力。 本示例展示了对一段音频流转换成文字的能力展示。 需要使用hiai引擎框架文本转语音接口@kit.CoreSpeechKit.d.ts.
鸿蒙AI功能开发【hiai引擎框架-通用文字识别】 基础视觉服务
2301_76813281的博客
08-07 518
本示例展示了使用hiai引擎框架提供的通用文字识别能力。 本示例模拟了在应用里，选择一张图片，识别其文字信息并展示出来（可复制）。 需要使用hiai引擎框架通用文字识别接口@kit.CoreVisionKit.d.ts。
鸿蒙AI功能开发【hiai引擎框架-多目标识别】 基础视觉服务
2301_76813281的博客
08-07 306
本示例展示了使用hiai引擎框架提供的多目标识别功能。 本示例模拟了在应用里，选择一张多目标图片，识别多个目标。 需要使用hiai引擎框架多目标识别接口@hms.ai.vision.objectDetection。
鸿蒙AI功能开发【hiai引擎框架-骨骼点识别】 基础视觉服务-骨骼点检查
2301_76813281的博客
08-07 571
本示例展示了使用hiai引擎框架提供的骨骼点识别功能。 本示例模拟了在应用里，选择一张人物全身图片，识别骨骼点。 需要使用hiai引擎框架多目标识别接口@hms.ai.vision.skeletonDetection。
鸿蒙AI功能开发【hiai引擎框架-分词、实体抽取】 自然语言理解服务
2301_76813281的博客
08-08 280
本示例展示了使用hiai引擎框架提供的基于自然语言处理服务的分词、实体抽取功能。 本示例模拟了在应用里，输入一段文字，调用分词、实体抽取能力后得到的结果。 需要使用hiai引擎框架通用文字识别接口@hms.ai.nlp.textProcessing.d.ts。
鸿蒙AI功能开发【人脸活体验证控件】 机器学习-场景化视觉服务
2301_76813281的博客
08-06 394
本示例展示了使用视觉类AI能力中的人脸活体验证能力。 本示例模拟了在应用里，跳转人脸活体验证控件，获取到验证结果并展示出来。 需要使用hiai引擎框架人脸活体验证接口@kit.VisionKit.d.ts。
HCIP-AI_HiAI_Developer（人工智能HiAI开发者）培训教材及实验手册V1.0.rar
03-03
《HCIP-AI_HiAI_Developer（人工智能HiAI开发者）培训教材及实验手册V1.0》是一个针对人工智能领域的专业学习资源，旨在培养具备HiAI开发者能力的技术人才。该压缩包包含了丰富的教学材料和实践指导，涵盖了人工智能...
华为HCIP-AI HiAI Developer V1.0人工智能培训教材和实验指导.rar
08-06
这套教材旨在帮助学员深入理解人工智能（AI）的基本概念，掌握华为HiAI平台的开发技能，并能够利用这些知识在实际项目中进行高效的人工智能应用开发。 首先，HCIP（Huawei Certified ICT Professional）是华为认证...
华为HCIP-AI HiAI Developer【人工智能】培训教材与实验指导手册.zip
10-31
《华为HCIP-AI HiAI Developer【人工智能】培训教材与实验指导手册》是为学习者提供的一套全面的华为认证人工智能开发课程资料。这套教材旨在帮助学员深入理解人工智能的基础概念，掌握华为HiAI平台的使用，并能进行...
【HarmonyOS NEXT星河版开发学习】小型测试案例06-小红书卡片
2302_80329073的博客
08-06 843
在鸿蒙（HarmonyOS）开发中，自适应伸缩是指应用程序能够根据不同设备的屏幕尺寸、分辨率和形态（如手机、平板、电视）自动调整布局和元素大小，以确保用户界面在各种设备上都能良好地显示和使用。约束布局（ConstraintLayout）
【鸿蒙学习】Stage模型与FA模型的对比与应用选择
最新发布
一个不断前行的程序者
08-12 228
Stage模型是一种基于应用生命周期和功能模块划分的架构设计理念。它将应用分为多个阶段（Stage），每个阶段对应一个特定的任务或界面，使得应用结构更加清晰、开发更加高效。FA模型（Feature Ability Model）是鸿蒙OS中另一种应用架构设计理念，它以功能为单元，将应用划分为多个功能模块（Feature Ability），每个模块具有独立的生命周期和功能。Stage模型和FA模型各有优势，适用于不同的开发场景。普通开发者应根据项目需求、团队协作、性能要求等因素，选择最合适的模型。
学习鸿蒙-构建私有仓储
编程菜鸟---正在努力进阶
08-09 733
在Web页面用管理员账号登录ohpm-repo私仓管理地址，在个人中心 > 仓库管理中，点击管理三方包 > 上传三方包，包的后缀名必须为 .har 或者 .tgz。动态共享包 HSP 包不能直接发布在ohpm-repo内，需要先转化为 .tgz 包，转换方TGZ 包的发布流程同 HAR 一致。登录 ohpm-repo 私仓管理地址，单击主页右上角的个人中心，新增公钥，将公钥文件（<your_key_path>.pub）的内容粘贴到公钥输入框中。（<部署ohpm-repo机器的ip>:8088）
HarmonyOS.FA开发流程
qq_35641191的博客
08-09 496
HarmonyOS，原子化服务开发
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值