20212416 2023-2024-2 《移动平台开发与实践》第6次作业

1.实验内容

  • 通过使用RecognizerIntent实现语音识别功能,开发一个Android语音识别系统。

2.实验过程

2.1 下载对应SDK

  • 进入讯飞开放平台登录注册一个账号
  • 服务支持-SDK下载在这里插入图片描述
  • 点击加号按钮创建应用
    在这里插入图片描述
  • 填入相关信息并创建
    在这里插入图片描述
  • 选择相应功能并下载,下载需要实名认证,可以到控制台先进行实名认证
    在这里插入图片描述

2.2 导入

  • 导入压缩包中的libs文件夹
    在这里插入图片描述

  • 往工程中添加jar文件

    • 菜单栏选择File -> Project Structure
    • 在弹出的Project Structure对话框中选中左侧的Modules列表下的app目录
    • 点击右侧页面中的Dependencies选项卡
    • 点击左上角加号“➕”选择Jar dependency,然后选择要添加的jar文件路径
      在这里插入图片描述
  • 成功后可以看到依赖项中增加了Msc.jar并且Msc.jar可以展开
    在这里插入图片描述

  • 在项目“/app/src/main/”下新建jniLibs文件夹,将sdk文件包中含so文件的文件夹复制进来
    在这里插入图片描述

  • 将sdk文件包中的assets文件复制到项目“/app/src/main/”下
    在这里插入图片描述

  • speechdemo中的两个库函数复制到mainactivity同级文件夹中
    在这里插入图片描述

2.3 添加相关权限

<uses-feature
        android:name="android.hardware.camera"
        android:required="false" />
 
    <uses-permission android:name="android.permission.INTERNET" />
    <uses-permission android:name="android.permission.RECORD_AUDIO" />
    <uses-permission android:name="android.permission.CAMERA" />
    <uses-permission android:name="android.permission.READ_PHONE_STATE" />

在这里插入图片描述

2.4 编写代码

MainActivity.java

package com.example.exp6;
import androidx.appcompat.app.AppCompatActivity;

import android.app.AlertDialog;
import android.os.Bundle;
import android.os.Environment;
import android.os.Handler;
import android.os.Message;
import android.util.Log;
import android.view.View;
import android.widget.Button;
import android.widget.EditText;
import android.widget.Toast;

import com.iflytek.cloud.ErrorCode;
import com.iflytek.cloud.InitListener;
import com.iflytek.cloud.RecognizerListener;
import com.iflytek.cloud.RecognizerResult;
import com.iflytek.cloud.SpeechConstant;
import com.iflytek.cloud.SpeechError;
import com.iflytek.cloud.SpeechRecognizer;
//import com.iflytek.cloud.SpeechUtility;
import com.iflytek.cloud.SpeechUtility;
import com.iflytek.cloud.ui.RecognizerDialog;
import com.iflytek.cloud.ui.RecognizerDialogListener;

import org.json.JSONException;
import org.json.JSONObject;

import java.util.ArrayList;
import java.util.HashMap;
import java.util.LinkedHashMap;


public class MainActivity extends AppCompatActivity implements View.OnClickListener {

    private static final String TAG = "MainActivity";
    // 语音听写对象
    private SpeechRecognizer mIat;
    // 语音听写UI
    private RecognizerDialog mIatDialog;
    // 用HashMap存储听写结果
    private HashMap<String, String> mIatResults = new LinkedHashMap<>();
    private EditText mResultText;
    private Button languageText, dialogButton;
    // 语言类型【默认中文】
    private String language = "zh_cn";
    // 格式类型【默认json】
    private String resultType = "json";
    private boolean cyclic = false;//音频流识别是否循环调用
    //拼接字符串
    private StringBuffer buffer = new StringBuffer();
    //Handler码
    private int handlerCode = 0x123;
    // 函数调用返回值
    private int resultCode = 0;
    // 切换中英文
    private boolean languageType;
    // 弹框是否显示
    private int dialogType;

    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_main);

        SpeechUtility.createUtility(this, SpeechConstant.APPID +"=0d02c10e");
        //初始化控件
        findViewById(R.id.iat_recognize).setOnClickListener(this);
        findViewById(R.id.iat_recognize_stream).setOnClickListener(this);
        findViewById(R.id.iat_stop).setOnClickListener(this);
        findViewById(R.id.iat_cancel).setOnClickListener(this);
        mResultText = this.findViewById(R.id.iat_text);
//        languageText = this.findViewById(R.id.languageText);
//        dialogButton = this.findViewById(R.id.dialogButton);
//        languageText.setOnClickListener(this);
//        dialogButton.setOnClickListener(this);

        // 初始化识别无UI识别对象
        // 使用SpeechRecognizer对象,可根据回调消息自定义界面;
        mIat = SpeechRecognizer.createRecognizer(this, mInitListener);
        // 初始化听写Dialog,如果只使用有UI听写功能,无需创建SpeechRecognizer
        // 使用UI听写功能,请根据sdk文件目录下的notice.txt,放置布局文件和图片资源
        mIatDialog = new RecognizerDialog(MainActivity.this, mInitListener);
    }

    @Override
    public void onClick(View view) {
        if (null == mIat) {
            // 创建单例失败,与 21001 错误为同样原因,
            // 参考 http://bbs.xfyun.cn/forum.php?mod=viewthread&tid=9688
            showToast("创建对象失败,请确认 libmsc.so 放置正确,且有调用 createUtility 进行初始化");
            return;
        }
        int id = view.getId();// 开始听写
// 如何判断一次听写结束:OnResult isLast=true 或者 onError
        if (id == R.id.iat_recognize) {
            buffer.setLength(0);//长度清空
            mResultText.setText(null);// 清空显示内容
            mIatResults.clear();//清除存贮结果
            // 设置参数
            setParam();
            if (dialogType == 0) {
                // 显示听写对话框
                mIatDialog.setListener(mRecognizerDialogListener);
                mIatDialog.show();
                showToast("开始听写");
            } else if (dialogType == 1) {
                // 不显示听写对话框
                resultCode = mIat.startListening(mRecognizerListener);
                if (resultCode != ErrorCode.SUCCESS) {
                    showToast("听写失败,错误码:" + ",请点击网址https://www.xfyun.cn/document/error-code查询解决方案");
                } else {
                    showToast("开始听写");
                }
            } else if (dialogType == 2) {
                // 自定义听写对话框
                showAlertDialog();
                resultCode = mIat.startListening(mRecognizerListener);
                if (resultCode != ErrorCode.SUCCESS) {
                    showToast("听写失败,错误码:" + ",请点击网址https://www.xfyun.cn/document/error-code查询解决方案");
                } else {
                    showToast("开始听写");
                }
            }
            // 音频流识别
        } else if (id == R.id.iat_recognize_stream) {
            executeStream();
            //            case R.id.languageText:
//                if (languageType) {
//                    languageType = false;
//                    language = "zh_cn";
//                    languageText.setText("点击切换语种:中文");
//                } else {
//                    languageType = true;
//                    language = "en_us";
//                    languageText.setText("点击切换语种:英文");
//                }
//                mIat.setParameter(SpeechConstant.LANGUAGE, language);
//                break;
            // 停止听写
        } else if (id == R.id.iat_stop) {
            mIat.stopListening();
            showToast("停止听写");
            // 取消听写
        } else if (id == R.id.iat_cancel) {
            mIat.cancel();
            showToast("取消听写");
            //            //默认显示弹框
//            case R.id.dialogButton:
//                if (dialogType == 0) {
//                    dialogType = 1;
//                    dialogButton.setText("不显示讯飞弹框");
//                } else if (dialogType == 1) {
//                    dialogType = 2;
//                    dialogButton.setText("显示自定义弹框");
//                } else if (dialogType == 2) {
//                    dialogButton.setText("显示讯飞弹框");
//                    dialogType = 0;
//                }
//                break;
        }
    }

    /**
     * 初始化监听器。
     */
    private InitListener mInitListener = new InitListener() {

        @Override
        public void onInit(int code) {
            Log.e(TAG, "SpeechRecognizer init() code = " + code);
            if (code != ErrorCode.SUCCESS) {
                showToast("初始化失败,错误码:" + code + ",请点击网址https://www.xfyun.cn/document/error-code查询解决方案");
            }
        }
    };

    /**
     * 听写监听器。
     */
    private RecognizerListener mRecognizerListener = new RecognizerListener() {

        @Override
        public void onBeginOfSpeech() {
            // 此回调表示:sdk内部录音机已经准备好了,用户可以开始语音输入
            showToast("开始说话");
        }

        @Override
        public void onError(SpeechError error) {
            // Tips:
            // 错误码:10118(您没有说话),可能是录音机权限被禁,需要提示用户打开应用的录音权限。
            showToast(error.getPlainDescription(true));
            if (null != dialog) {
                dialog.dismiss();
            }
        }

        @Override
        public void onEndOfSpeech() {
            // 此回调表示:检测到了语音的尾端点,已经进入识别过程,不再接受语音输入
            showToast("结束说话");
            if (null != dialog) {
                dialog.dismiss();
            }
        }

        @Override
        public void onResult(RecognizerResult results, boolean isLast) {
            Log.e(TAG, "onResult: " + results.getResultString());
            if (resultType.equals(resultType)) {
                printResult(results);
            } else if (resultType.equals("plain")) {
                buffer.append(results.getResultString());
                mResultText.setText(buffer.toString());
                mResultText.setSelection(mResultText.length());
            }
            if (isLast & cyclic) {
                // TODO 最后的结果
                Message message = Message.obtain();
                message.what = handlerCode;
                handler.sendMessageDelayed(message, 100);
            }
        }

        @Override
        public void onVolumeChanged(int volume, byte[] data) {
            //showToast("当前正在说话,音量大小:" + volume);
            Log.e(TAG, "onVolumeChanged: " + data.length);
        }

        @Override
        public void onEvent(int eventType, int arg1, int arg2, Bundle obj) {
            // 以下代码用于获取与云端的会话id,当业务出错时将会话id提供给技术支持人员,可用于查询会话日志,定位出错原因
            // 若使用本地能力,会话id为null
            // if (SpeechEvent.EVENT_SESSION_ID == eventType) {
            //    String sid = obj.getString(SpeechEvent.KEY_EVENT_SESSION_ID);
            //    Log.d(TAG, "session id =" + sid);
            // }
        }
    };

    private Handler handler = new Handler() {
        @Override
        public void handleMessage(Message msg) {
            super.handleMessage(msg);
            if (msg.what == handlerCode) {
                executeStream();
            }
        }
    };

    /**
     * 听写UI监听器
     */
    private RecognizerDialogListener mRecognizerDialogListener = new RecognizerDialogListener() {
        /**
         * 识别回调成功
         */
        public void onResult(RecognizerResult results, boolean isLast) {
            printResult(results);
        }

        /**
         * 识别回调错误.
         */
        public void onError(SpeechError error) {
            showToast(error.getPlainDescription(true));
        }
    };

    /**
     * 打印听写结果
     */
    private void printResult(RecognizerResult results) {
        String text = JsonParser.parseIatResult(results.getResultString());
        String sn = null;
        // 读取json结果中的sn字段
        try {
            JSONObject resultJson = new JSONObject(results.getResultString());
            sn = resultJson.optString("sn");
        } catch (JSONException e) {
            e.printStackTrace();
        }
        mIatResults.put(sn, text);
        StringBuffer resultBuffer = new StringBuffer();
        for (String key : mIatResults.keySet()) {
            resultBuffer.append(mIatResults.get(key));
        }
        mResultText.setText(resultBuffer.toString());
        mResultText.setSelection(mResultText.length());
    }

    /**
     * 听写参数设置
     */
    public void setParam() {
        // 清空参数
        mIat.setParameter(SpeechConstant.PARAMS, null);
        // 设置听写引擎类型
        mIat.setParameter(SpeechConstant.ENGINE_TYPE, SpeechConstant.TYPE_CLOUD);
        // 设置返回结果格式【目前支持json,xml以及plain 三种格式,其中plain为纯听写文本内容】
        mIat.setParameter(SpeechConstant.RESULT_TYPE, resultType);
        //目前Android SDK支持zh_cn:中文、en_us:英文、ja_jp:日语、ko_kr:韩语、ru-ru:俄语、fr_fr:法语、es_es:西班牙语、
        // 注:小语种若未授权无法使用会报错11200,可到控制台-语音听写(流式版)-方言/语种处添加试用或购买。
        mIat.setParameter(SpeechConstant.LANGUAGE, language);
        // 设置语言区域、当前仅在LANGUAGE为简体中文时,支持方言选择,其他语言区域时,可把此参数值设为mandarin。
        // 默认值:mandarin,其他方言参数可在控制台方言一栏查看。
        mIat.setParameter(SpeechConstant.ACCENT, "mandarin");
        //获取当前语言(同理set对应get方法)
        Log.e(TAG, "last language:" + mIat.getParameter(SpeechConstant.LANGUAGE));
        //此处用于设置dialog中不显示错误码信息
        //mIat.setParameter("view_tips_plain","false");
        //开始录入音频后,音频后面部分最长静音时长,取值范围[0,10000ms],默认值5000ms
        mIat.setParameter(SpeechConstant.VAD_BOS, "5000");
        // 设置语音后端点:后端点静音检测时间,即用户停止说话多长时间内即认为不再输入, 自动停止录音取值范围[0,10000ms],默认值1800ms。
        mIat.setParameter(SpeechConstant.VAD_EOS, "1800");
        // 设置标点符号,设置为"0"返回结果无标点,设置为"1"返回结果有标点
        mIat.setParameter(SpeechConstant.ASR_PTT, "1");
        // 设置音频保存路径,保存音频格式支持pcm、wav,设置路径为sd卡请注意WRITE_EXTERNAL_STORAGE权限
        mIat.setParameter(SpeechConstant.AUDIO_FORMAT, "wav");
        mIat.setParameter(SpeechConstant.ASR_AUDIO_PATH, Environment.getExternalStorageDirectory() + "/msc/helloword.wav");
    }

    //执行音频流识别操作
    private void executeStream() {
        buffer.setLength(0);
        mResultText.setText(null);// 清空显示内容
        mIatResults.clear();
        //设置参数
        setParam();
        //设置音频来源为外部文件
        mIat.setParameter(SpeechConstant.AUDIO_SOURCE, "-1");
        mIat.setParameter(SpeechConstant.LANGUAGE, language);
        //也可以像以下这样直接设置音频文件路径识别(要求设置文件在sdcard上的全路径):
        //mIat.setParameter(SpeechConstant.AUDIO_SOURCE, "-2");
        //mIat.setParameter(SpeechConstant.ASR_SOURCE_PATH, "sdcard/XXX/XXX.pcm");
        resultCode = mIat.startListening(mRecognizerListener);
        if (resultCode != ErrorCode.SUCCESS) {
            showToast("识别失败,错误码:" + resultCode + ",请点击网址https://www.xfyun.cn/document/error-code查询解决方案");
        } else {
            byte[] audioData = FucUtil.readAudioFile(MainActivity.this, "iattest.wav");
            if (null != audioData) {
                showToast("开始音频流识别");
                // 一次(也可以分多次)写入音频文件数据,数据格式必须是采样率为8KHz或16KHz(本地识别只支持16K采样率,云端都支持),位长16bit,单声道的wav或者pcm
                // 写入8KHz采样的音频时,必须先调用setParameter(SpeechConstant.SAMPLE_RATE, "8000")设置正确的采样率
                // 注:当音频过长,静音部分时长超过VAD_EOS将导致静音后面部分不能识别。
                ArrayList<byte[]> bytes = FucUtil.splitBuffer(audioData, audioData.length, audioData.length / 3);
                for (int i = 0; i < bytes.size(); i++) {
                    mIat.writeAudio(bytes.get(i), 0, bytes.get(i).length);
                    try {
                        Thread.sleep(1000);//休眠1秒
                    } catch (Exception e) {
                    }
                }
                //mIat.writeAudio(audioData, 0, audioData.length );
                mIat.stopListening();
            } else {
                mIat.cancel();
                showToast("读取音频流失败");
            }
        }
    }

    @Override
    protected void onResume() {
        // 开放统计 移动数据统计分析
      /*FlowerCollector.onResume(MainActivity.this);
      FlowerCollector.onPageStart(TAG);*/
        super.onResume();
    }

    @Override
    protected void onPause() {
        // 开放统计 移动数据统计分析
        super.onPause();
    }

    /**
     * 展示吐司
     */
    private void showToast(final String str) {
        Toast.makeText(this, str, Toast.LENGTH_SHORT).show();
    }

    private AlertDialog dialog;

    private void showAlertDialog() {
        dialog = new AlertDialog.Builder(this)
                .setTitle("自定弹框")//标题
                .setMessage("正在识别,请稍后...")//内容
                .setIcon(R.mipmap.ic_launcher)//图标
                .create();
        dialog.show();
    }
}

activity_main.xml

<?xml version="1.0" encoding="utf-8"?>
<LinearLayout xmlns:android="http://schemas.android.com/apk/res/android"
    android:layout_width="match_parent"
    android:layout_height="match_parent"
    android:background="#519D9E"
    android:gravity="center_horizontal"
    android:orientation="vertical"
    android:paddingLeft="10dp"
    android:paddingRight="10dp">

    <TextView
        android:layout_width="wrap_content"
        android:layout_height="wrap_content"
        android:layout_centerInParent="true"
        android:layout_margin="15dp"
        android:text="讯飞听写示例"
        android:textSize="30sp" />

    <EditText

        android:id="@+id/iat_text"
        android:layout_width="match_parent"
        android:layout_height="0dp"
        android:layout_weight="1"
        android:gravity="top|left"
        android:hint="听写结果显示"
        android:paddingBottom="10dp"
        android:textColorHint="@color/white"
        android:textColor="@color/white"
        android:textSize="20sp" />

    <LinearLayout
        android:layout_width="match_parent"
        android:layout_height="wrap_content"
        android:layout_marginTop="10dp"
        android:layout_marginBottom="2dp"
        android:gravity="center_horizontal"
        android:orientation="horizontal">

        <Button
            android:id="@+id/iat_recognize"
            android:layout_width="0dp"
            android:layout_height="wrap_content"
            android:layout_weight="1"
            android:text="开始"
            android:textSize="20sp" />

        <Button
            android:id="@+id/iat_stop"
            android:layout_width="0dp"
            android:layout_height="wrap_content"
            android:layout_weight="1"
            android:text="停止"
            android:textSize="20sp" />

        <Button
            android:id="@+id/iat_cancel"
            android:layout_width="0dp"
            android:layout_height="wrap_content"
            android:layout_weight="1"
            android:text="取消"
            android:textSize="20sp" />
    </LinearLayout>

    <!--    <Button-->
    <!--        android:id="@+id/dialogButton"-->
    <!--        android:layout_width="wrap_content"-->
    <!--        android:layout_height="wrap_content"-->
    <!--        android:text="显示讯飞弹框"-->
    <!--        android:textSize="20sp" />-->

    <!--    <Button-->
    <!--        android:id="@+id/languageText"-->
    <!--        android:layout_width="wrap_content"-->
    <!--        android:layout_height="wrap_content"-->
    <!--        android:text="点击切换语种:中文"-->
    <!--        android:textSize="20sp" />-->

    <Button
        android:id="@+id/iat_recognize_stream"
        android:layout_width="match_parent"
        android:layout_height="wrap_content"
        android:text="音频流识别"
        android:textSize="20sp" />

</LinearLayout>

2.5 运行结果

在这里插入图片描述
在这里插入图片描述

3.学习中遇到的问题及解决

  • 问题1:在虚拟设备进行调试时报错如下图
    在这里插入图片描述

  • 问题1解决方案:我看大家很多同学都遇到了这个问题,尝试使用createUtility进行初始化但是一直报错,改用真机连接进行调试后成功

  • 问题2:点击开始按钮后显示“启动录音失败”

  • 问题2解决方案:为app打开麦克风权限即可
    在这里插入图片描述

4.学习感悟、思考

  • 代码是现成的真的太让人感动了,本次实验我遇到的最大困难其实是怎么用苹果手机进行真机调试哈哈……最后放弃了,还是借别人的安卓更有性价比

参考资料

Androis Studio中使用真机调试步骤

  • 24
    点赞
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值