云知声语音语义识别,语音唤醒和语音合成简单工具类封装

最新推荐文章于 2024-07-09 16:24:22 发布
最新推荐文章于 2024-07-09 16:24:22 发布
阅读量5.5k 收藏 4
点赞数 4
分类专栏： android
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wangjiangjun0815/article/details/55212718
版权

最近项目在使用云知声SDK,遇到了不少麻烦现在总结下。自己留个记录也希望能够对有用到云知声的一个帮助。。不多说了上代码啦！！

一，语义识别和语音识别（在线语音识别和语义）至于本地识别就是类型不同已备注，云知声语音识别和语义识别是在一起的，这个大家使用时可注意了。语音识别我这边就直接转换成了String了，语义识别可能大家要根据自己需求去解析了。返回的是Json格式字符串

首先初始化key和secret这个大家要去云知声开放平台申请啦.为了方便大家链接云知声开放平台http://n

public class Config {
    public static final String appKey = "";
    public static final String secret ="";

}


public class ASROnline {
    private final Context mContext;
    private SpeechUnderstander mUnderstander;
    private StringBuffer mAsrResultBuffer;


    public ASROnline(Context context) {
        this.mContext = context;
    }

    /**
     * 当前识别状态
     */
    enum AsrStatus {
        idle, recording, recognizing
    }

    private static int currentDomain = 0;
    private static String arrayDomain[] = new String[]{"general", "poi", "song", "movietv", "medical"};
    private static String arrayLanguageStr[] = new String[]{SpeechConstants.LANGUAGE_MANDARIN,
            SpeechConstants.LANGUAGE_ENGLISH, SpeechConstants.LANGUAGE_CANTONESE};
    private static int arraySample[] = new int[]{SpeechConstants.ASR_SAMPLING_RATE_BANDWIDTH_AUTO,
            SpeechConstants.ASR_SAMPLING_RATE_16K, SpeechConstants.ASR_SAMPLING_RATE_8K};
    private static int currentSample = 0;
    private static int currentLanguage = 0;
    private AsrStatus statue = AsrStatus.idle;

    public void startUnderstand() {
        mAsrResultBuffer = new StringBuffer();
        //创建语音理解对象，appKey和 secret通过 http://dev.hivoice.cn/ 网站申请
        mUnderstander = new SpeechUnderstander(mContext, Config.appKey, Config.secret);
        // 开启可变结果
        mUnderstander.setOption(SpeechConstants.ASR_OPT_TEMP_RESULT_ENABLE, true);
        mUnderstander.setOption(SpeechConstants.ASR_EVENT_MODEL_LOAD_SUCCESS, true);
       // mUnderstander.setOption(SpeechConstants.VPR_FARFILED_ENABLED, true);    //设置远讲是否可用
        // mUnderstander.setOption( SpeechConstants.VPR_BLUETOOTH_ENABLED, true);开启蓝牙录音
        // mUnderstander.setOption(SpeechConstants.ASR_SERVER_ADDR, true);设置语义解析服务器 SpeechConstants.NLU_SERVER_ADDR server=ip:port
        //mUnderstander.setOption(SpeechConstants.NLU_SERVER_ADDR,value);  设置语义解析服务器key/value
        mUnderstander.init("");
        // 保存录音数据
        // recognizer.setRecordingDataEnable(true);
        if (statue == AsrStatus.idle) {
            // 修改录音采样率
            mUnderstander.setOption(SpeechConstants.ASR_SAMPLING_RATE, arraySample[currentSample]);
            // 修改识别领域
            mUnderstander.setOption(SpeechConstants.ASR_DOMAIN, arrayDomain[currentDomain]);
            // 修改识别语音
            mUnderstander.setOption(SpeechConstants.ASR_LANGUAGE, arrayLanguageStr[currentLanguage]);
            mUnderstander.start();
        } else if (statue == AsrStatus.recording) {
            stopRecord();
        } else if (statue == AsrStatus.recognizing) {
            mUnderstander.cancel();
            statue = AsrStatus.idle;
        }
        //net_asr 在线识别结果
        //net_nlu 在线语义结果
        //local_asr 离线识别结果
        mUnderstander.setListener(new SpeechUnderstanderListener() {
            @Override
            public void onResult(int type, String jsonResult) {
                switch (type) {
                    case SpeechConstants.ASR_RESULT_NET:    //网络识别结果
                        if (jsonResult.contains("net_asr")
                                && jsonResult.contains("net_nlu")){
                            parseJsonData(jsonResult);
                        } else {
                            //取出语音识别结果
                            asrResultOperate(jsonResult);
                        }
                        break;
                    case SpeechConstants.ASR_RESULT_LOCAL://本地识别结果
                        break;
                }
            }

            @Override
            public void onEvent(int type, int timeMs) {
                switch (type) {
                    case SpeechConstants.ASR_EVENT_NET_END: //网络识别结束
                        statue = AsrStatus.idle;
                        break;
                    case SpeechConstants.ASR_EVENT_VOLUMECHANGE:        //声音音量发生改变
                        // 说话音量实时返回可以通过progressbar显示
                        int volume = (Integer) mUnderstander.getOption(SpeechConstants.GENERAL_UPDATE_VOLUME);
                        break;
                    case SpeechConstants.ASR_EVENT_VAD_TIMEOUT://未说话超时自动停止说话
                        // 收到用户停止说话事件，停止录音
                        stopRecord();
                        break;
                    case SpeechConstants.ASR_EVENT_RECORDING_STOP:  //停止录音
                        statue = AsrStatus.recognizing;
                        break;
                    case SpeechConstants.ASR_EVENT_SPEECH_DETECTED://检测到说话
                        break;
                    case SpeechConstants.ASR_EVENT_RECORDING_START://录音设备开启
                        statue = AsrStatus.recording;
                        break;
                    default:
                        break;
                }
            }

            @Override
            public void onError(int type, String errorMSG) {
                if (errorMSG != null) {
                    // 显示错误信息
                    hitErrorMsg(errorMSG);
                } else {
                        YunSpeechSynthesisUtil.startYunSpeechSYnthesis(mContext, "我是小助手有什么可以帮您,请将");
                }
            }
        });
    }

    //语义理解json
    private void asrResultOperate(String jsonResult) {
        WeatherJavaBean weatherJavaBean = new Gson().fromJson(jsonResult, WeatherJavaBean.class);
        WeatherJavaBean.NetNluBean netNluBean = weatherJavaBean.net_nlu.get(0);
        String code = netNluBean.code;
        if (code.equals("FORECAST")){
            String header = netNluBean.data.header;
            String carWashIndexDesc = netNluBean.data.result.weatherDays.get(0).carWashIndexDesc;
            YunSpeechSynthesisUtil.startYunSpeechSYnthesis(mContext,header+carWashIndexDesc);
        }
    }

    private void stopRecord() {
        mUnderstander.stop();
    }

    //语音识别json结果
    private void parseJsonData(String jsonResult) {
        InitJava initJava = new Gson().fromJson(jsonResult, InitJava.class);
        List<InitJava.NetAsrBean> net_asr = initJava.net_asr;
        InitJava.NetAsrBean netAsrBean = net_asr.get(0);
        String status = netAsrBean.result_type;
        if (status.equals("full")){
            String result = netAsrBean.recognition_result;
            if (result!=null){
                YunSpeechSynthesisUtil.startYunSpeechSYnthesis(mContext,result.trim());
            }else {
                YunSpeechSynthesisUtil.startYunSpeechSYnthesis(mContext, "抱歉,未听清");
            }
        }
    }
    private void hitErrorMsg(String msg) {
        Toast.makeText(mContext, msg, Toast.LENGTH_LONG).show();
    }
}
public class InitJava {

    public List<NetAsrBean> net_asr;
    public List<NetNluBean> net_nlu;

    public static class NetAsrBean {

        public String engine_mode;
        public boolean last_result;
        public String recognition_result;
        public String result_type;
        public String sessionID;
    }

    public static class NetNluBean {

        public String code;
        public GeneralBean general;
        public String history;
        public String nluProcessTime;
        public int rc;
        public String responseId;
        public String service;
        public String text;

        public static class GeneralBean {

            public String text;
            public String type;
        }
    }

二,语音合成

private static SpeechSynthesizer mTTSPlayer;
public static void startYunSpeechSYnthesis(Context context, String speechContent){
    // 创建语音合成对象
    mTTSPlayer = new SpeechSynthesizer(context, Config.appKey, Config.secret);
    mTTSPlayer.setOption(SpeechConstants.TTS_SERVICE_MODE, SpeechConstants.TTS_SERVICE_MODE_NET);
    mTTSPlayer.init("");
    mTTSPlayer.setTTSListener(new SpeechSynthesizerListener() {
        @Override
        public void onEvent(int type) {
            switch (type) {
                case SpeechConstants.TTS_EVENT_INIT:
                    // 初始化成功回调
                    break;
                case SpeechConstants.TTS_EVENT_SYNTHESIZER_START:
                    // 开始合成回调
                    break;
                case SpeechConstants.TTS_EVENT_SYNTHESIZER_END:
                    // 合成结束回调
                    break;
                case SpeechConstants.TTS_EVENT_BUFFER_BEGIN:
                    // 合成结束回调
                    break;
                case SpeechConstants.TTS_EVENT_BUFFER_READY:
                    // 合成结束回调
                    break;
                case SpeechConstants.TTS_EVENT_PLAYING_START:
                    // 开始播放回调
                    break;
                case SpeechConstants.TTS_EVENT_PLAYING_END:
                    // 播放完成回调
                    break;
                case SpeechConstants.TTS_EVENT_PAUSE:
                    // 暂停回调
                    break;
                case SpeechConstants.TTS_EVENT_RESUME:
                    // 恢复回调
                    break;
                case SpeechConstants.TTS_EVENT_STOP:
                    // 停止回调
                    break;
                case SpeechConstants.TTS_EVENT_RELEASE:
                    // 释放资源回调
                    break;
                default:
                    break;
            }
        }
        // 语音合成错误回调
        @Override
        public void onError(int type, String errorMSG) {
            if (errorMSG != null) {
                System.out.println(errorMSG+"错误信息");
            } else {
                System.out.println("对不起,说的没听清");
            }
        }
    });
    mTTSPlayer.playText(speechContent);
}

三,语音唤醒

private  Context mWakeContext;
private SpeechUnderstander mWakeUpRecognizer;
private static final String WAKEUP_TAG = "wakeup";
private Vibrator mVibrator;
public YunWakeUpOffline(Context context){
    this.mWakeContext =context;
}

/**
 * 初始化本地离线唤醒
 */
public  void startWakeUp() {
    mWakeUpRecognizer = new SpeechUnderstander(mWakeContext, Config.appKey, null);
    mWakeUpRecognizer.setOption(SpeechConstants.ASR_SERVICE_MODE, SpeechConstants.ASR_SERVICE_MODE_LOCAL);
    mWakeUpRecognizer.setOption(SpeechConstants.WAKEUP_EVENT_SET_WAKEUPWORD_DONE,"你好,魔方");//设置唤醒词
    mWakeUpRecognizer.init("");
    mWakeUpRecognizer.setListener(new SpeechUnderstanderListener() {
        //成功结果
        @Override
        public void onResult(int type, String jsonResult) {
            System.out.println(jsonResult+"语音唤醒jsonResult");
            YunSpeechSynthesisUtil.startYunSpeechSYnthesis(mWakeContext,"你好");
        }
        @Override
        public void onEvent(int type, int timeMs) {
            switch (type) {
                case SpeechConstants.WAKEUP_EVENT_RECOGNITION_SUCCESS:  //识别成功
                    Log.d("TEMPLOG", "WAKEUP_EVENT_RECOGNITION_SUCCESS");
                    mVibrator.vibrate(300);
                    YunSpeechSynthesisUtil.startYunSpeechSYnthesis(mWakeContext,"语音已唤醒");
                    break;
                case SpeechConstants.ASR_EVENT_RECORDING_START:
                    Log.d("TEMPLOG", "ASR_EVENT_RECORDING_START");
                    //TODO 设置提醒

                    break;
                case SpeechConstants.ASR_EVENT_RECORDING_STOP:
                    Log.d("TEMPLOG", "ASR_EVENT_RECORDING_STOP");
                    break;
                case SpeechConstants.ASR_EVENT_ENGINE_INIT_DONE:
                    Log.d("TEMPLOG", "ASR_EVENT_ENGINE_INIT_DONE");
                    wakeUpStart();
                    break;
                default:
                    break;
            }
        }

        @Override
        public void onError(int type, String errorMSG) {

        }
    });
}


/**
 * 启动语音唤醒
 */
protected void wakeUpStart() {
    mWakeUpRecognizer.start(WAKEUP_TAG);
}

在实际开发中基本都是相互使用的,大家使用到的话根据自己需要来!

WhatYouSeeMe
关注
专栏目录
恒源云(GPUSHARE)_语音识别与语义处理领域之 NAG 优化器
weixin_53977063的博客
12-08 2206
文章来源 | 恒源云社区(专注人工智能/深度学习云 GPU 服务器训练平台，官方体验网址：恒源智享云) 原文地址 | NAG优化器 原文作者 | 角灰 社区人才济济，小编今天又发现一个宝藏版主‘角灰’。 小编是个爱分享的人，看见好文章好作者怎能控制住不分享给大家呢？所以，接下来跟着小编我，一起快速浏览一下文章内容吧！ 正文开始 最近在看fairseq源码时发现NAG优化器 (Nesterov Accelerate gradient)的实现与torch自带的有些许不一样，于是打算查下资料了解清楚。 先回忆下
云知声-AI离线语音识别芯片&模块系列方案介绍
云知声 Jason 离线语音识别芯片原厂 的博客
02-10 8565
云知声（Unisound）作为行业内领先的人工智能企业，拥有全栈式的语音技术，将语音识别、语义理解、自然语言处理、语音合成、声音降噪算法、海量语音数据、专用芯片开发 等技术融合实现“云端芯”一体化布局，针对AI语音芯片各个不同的细分市场，共发布5款离线语音识别芯片，芯片及模块出货量已达10KK以上。 下面介绍这5款针对不同细分市场的离线语音识别芯片各自的特色： 一、蜂鸟M（US516P6）：性价比之王 特点： 1、单mic，识别距离：0~8米（一般环境下）； 2、支持10...
云知声离线语音demo
10-11
分别试了百度离线语音和讯飞离线语音，发现还是云知声tts比较流畅，基础包是台湾腔妹子声音，而且免费的。代码简单，不像前两个出现那么多问题！第一次打开需要拷贝语音文件到sd卡，所以需要等几秒钟再跳转
unisound_asr 云知声 语音识别 python版接口
weixin_33897722的博客
01-13 520
抽空，实现了一份云知声语音转写的python版本。 使用python通过调用动态库实现。 云知声官网: http://dev.hivoice.cn/sdk_download/schema_sdk.jsp 调用方法: python3unisound_asr.py音频文件 例: python3 unisound_asr.py e:\input.wav 调用前修改下unisoun...
一文看懂“语音识别ASR” | AI产品经理需要了解的AI技术概念
最新发布
CSDN_224022的博客
07-09 1672
是语音交互中最基础的一个AI技术环节，大家可以先在手机上体验siri等各种语音助手，或者各种智能音箱，找找感觉：）本文，是我收集了很多线上/线下的相关信息后，提炼出的不仅帮大家节省了时间，更是过滤了很多无用信息和过于技术的内容。一、核心概念：语音识别ASR、远场语音识别（语音激活检测VAD、语音唤醒、麦克风阵列、全双工、纠错）二、当前技术边界三、瓶颈和机会附：相关资料（文章和书籍）11、（Automatic Speech Recognition），一般简称；是的过程，相当于人类的。1）
离线TTS语音合成工具--基于云知声最新sdk封装
03-30
基于云知声离线TTS SDK封装,带队列的语音合成，拿来即用。
云知声语音转文字
weixin_33890526的博客
08-13 595
为什么80%的码农都做不了架构师？>>> ...
基于Python+百度语音的智能语音ChatGPT聊天机器人（机器学习+深度学习+语义识别）含全部工程源码 适合个人二次开发
05-29
1.项目基于机器学习和语义识别技术，让机器人理解文本并进行合适的答复。通过使用语音与其交流，实现智能问答、智能音箱及智能机器宠物。 2.项目运行环境：包括 Python 环境、ChatterBot 环境。 Python 3.6 及以上...
云知声语音ssk-Java
12-04
【云知声语音ssk-Java】是一款基于Java平台的语音识别软件开发工具包（SDK），由云知声公司提供。云知声是一家专注于智能语音技术的高科技企业，以其高识别率而受到业界的广泛认可。该SDK允许开发者在自己的应用程序...
云知声集成AndroidStudio版（语音输入方案
11-13
云知声的SDK包含了语音唤醒、语音识别、语义理解等多个关键模块，这些模块共同构成了一个完整的语音交互系统。 在Android Studio中集成云知声的语音输入方案，开发者首先需要下载相应的SDK，并将其导入到项目中。这...
云知声离线语音合成语音播报sdk
08-03
云知声离线语音合成语音播报sdk
ReactNative下的科大讯飞语音库可以进行语音识别与语音合成
08-08
React Native 下的科大讯飞语音库，可以进行语音识别与语音合成
react-native-audio, 用于响应本机的音频录制库.zip
10-10
react-native-audio, 用于响应本机的音频录制库 在iOS或者Android中录制音频以响应本机应用。更改对于本机> = 0.47.2的响应，请使用v3.4.0和。 对于本机> = 0.40，请使用v3.1.0直到 3.2.2. 对于本机 <= 0.39，请使用v3
springboot+react+html5 实现按住录音离开发送、语音合成
04-15
使用springboot+react+html5实现按住按钮录音，离开后发送到后台，后台返回文字，成功后继续调用只能回复获取答案，得到答案后在进行语音合成显示，可点击语音播放
react-speech-kit:用于语音识别和语音合成的React挂钩
04-28
React语音套件 :microphone: 用于浏览器内语音识别和语音合成的React挂钩。 目录 安装 yarn add react-speech-kit 范例与示范 一个完整的例子可以在这里找到。 源代码位于examples目录中。 使用语音合成 浏览器的SpeechSynthesis API的react挂钩。 它将选项和控件公开给浏览器中的基础SpeechSynthesis。 用法 import React , { useState } from 'react' ; import { useSpeechSynthesis } from 'react-speech-kit' ; function Example ( ) { const [ value , setValue ] = useState ( '' ) ; const { speak } = useSpeechSynthesis
扒一扒智能语音交互的开放语义怎么玩？
hixiaofei的博客
06-28 693
开放语义平台是讯飞语音云平台的一个子平台，她的作用是为广大开发者提供语义理解的服务，语义理解其实包括了两个方面的功能：语义提取：就是提取出说话人要表达的意思，例如下图：开放语义平台的语义理解服务中的语义提取功能能够从内容为“打电话给张三”的一段语音或者文字中识别出两个关键的信息：operation：“CALL” name：“张三”开发者的客户端收到服务器返回的这两个关键的信息，就可以判断出说...
科大讯飞语音唤醒SDK_forJava
06-27
这是科大讯飞的智能语音唤醒的sdk，同学们想了解科大讯飞如何实现语音唤醒的话，可以下载此源码进行了解了解。了解整个语音唤醒的框架及其流程。 开发语言是Java，下载者需谨慎，不懂Java开发的不要下载哦
java语音唤醒_语音识别--唤醒问题
weixin_42489917的博客
02-28 886
在做android百度语音功能的时候，都可以在线识别。只有唤醒功能有问题。以下是错误日志以及错误地方。错误地方：wp.send(SpeechConstant.WAKEUP_START,"{\"kws-file\":\"assets:\\/\\/\\/WakeUp.bin\"}",null,0,0);日志：10-26 02:56:31.835 25867-25867/com.example.admi...
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值