实训第二周（1）

最新推荐文章于 2021-07-11 16:21:13 发布
最新推荐文章于 2021-07-11 16:21:13 发布
阅读量350 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/catus121/article/details/80210713
版权

本周我做了语音情感识别方面的工作。

因为人机交互的老师推荐过这方面的相关接口，所以我选择了Emokit，该公司主要是做情感识别的，包括语音、人脸、心率等方面的情感计算。

1.首先是id的申请，比较简单，很容易就通过了。


之后下载对应的SDK，里面有对应的Manual和demo，可以帮助我实现代码。


2.预备工作

（1）新建工程，导入SDK。将开发工具包中libs目录下的emokitsdk.jar复制到Android工程的libs目录（如果工程无libs目录，需自行创建），如下图所示：


（2）添加权限：在工程AndroidManifest.xml文件中添加如下权限（因为我只用语音情感识别，所以不用添加摄像头权限）

<!-- 开启摄像头 -->

<uses-feature android:name="android.hardware.camera"/>
<uses-feature android:name="android.hardware.camera.flash"/>
<uses-permission android:name="android.permission.CAMERA"/>
<uses-permission android:name="android.permission.WAKE_LOCK"/>
<!—设置录音 -->

<uses-permission android:name="android.permission.RECORD_AUDIO" /> 
<!-- 网络状态 -->
<uses-permission android:name="android.permission.INTERNET" /> 
<uses-permission android:name="android.permission.ACCESS_NETWORK_STATE" />

<uses-permission android:name="android.permission.ACCESS_WIFI_STATE" /> 
<uses-permission android:name="android.permission.CHANGE_NETWORK_STATE" />

<uses-permission android:name="android.permission.READ_PHONE_STATE" />
<!-- sd 卡获得写的权限-->

<uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE" />
（3）添加ADI和KEY：初始化时需要配置从Emokit开发者中心申请的AID和KEY。在AndroidManifest.xml中配置如下 
<meta-data 
      android:name="EMOKIT_AID" 
      android:value="自己申请的id" />
<meta-data

      android:name="EMOKIT_KEY"      
      android:value="自己申请的key" />                
<meta-data 
      android:name="EMOKIT_RecordTaskAnimation" 
      android:value="1" />

EMOKIT_RecordTaskAnimation为调用语音按钮时候是否启动交互框,默认为1启动;0为不启动

（4）初始化SDK：

添加 SDK 的初始化代码

在应用入口处Activity的onCreate方法内调用SDKAppInit.createInstance(this); 初始化 SDK,示例代码如下:

@Override

protected void onCreate(Bundle savedInstanceState) {
         super.onCreate(savedInstanceState); 
         SDKAppInit.createInstance(this);
}
开启Debug模式：

集成调试过程中若需查看 log 日志,请在应用入口处 Activity 的 onCreate 方法内调用调 用 SDKAppInit.setDebugMode(true),否则默认为 false 。

3.Activity编写

首先在onCreate方法中新建一个SpeechEmotionDetect对象

speechEmotionDetect = SpeechEmotionDetect.createRecognizer(this, mInitListener);
并在识别按钮上绑定一个监听器，当点击按钮时，speechEmotionDetect对象就用mSpeechEmotionListener开始监听 

stplayer.setOnClickListener(new OnClickListener() {
    @Override
    public void onClick(View v) {

        mIatResults = new ArrayList<String>();
        emoResults = new ArrayList<String>();

        emoResulText.setText("");
        speechResultText.setText("");

        speechEmotionDetect.startListening(mSpeechEmotionListener, SDKConstant.RC_TYPE_5, false, "52c8cef6");
    }
});

语音识别监听器mSpeechEmotionListener是一个接口类，onEmotionResult主要返回情绪类型（平静、伤感、生气、开心、害怕，onSpeechResult返回语音识别的具体内容。但语音内容识别一直没有成功。

4.应用演示


5.结果评价

不仅语音内容识别没能实现，而且情感的识别也很不准确，同一个句子的录音，分几次识别结果都会不同。但老师的确提醒过结果可能不太准确。我分析可能是它的情感种类太多的原因，毕竟我们的应用不需要这么细致的情感分类。所以我打算试一下腾讯云的sdk，它的情绪只分为3中：正面情绪、消极负面情绪和中性情绪，我猜测效果可能会准确一点。

6.完整代码

MainActivity.java

import java.util.ArrayList;
import java.util.List;
import org.json.JSONException;
import org.json.JSONObject;
import com.emokit.sdk.InitListener;
import com.emokit.sdk.basicinfo.AdvancedInformation;
import com.emokit.sdk.heartrate.EmoRateListener;
import com.emokit.sdk.heartrate.RateDetect;
import com.emokit.sdk.record.SpeechEmotionListener;
import com.emokit.sdk.record.SpeechEmotionDetect;
import com.emokit.sdk.senseface.ExpressionListener;
import com.emokit.sdk.senseface.ExpressionDetect;
import com.emokit.sdk.util.JsonParser;
import com.emokit.sdk.util.SDKAppInit;
import com.emokit.sdk.util.SDKConstant;
import android.os.Bundle;
import android.os.Handler;
import android.os.Message;
import android.app.Activity;
import android.util.Log;
import android.view.View;
import android.view.View.OnClickListener;
import android.widget.Button;
import android.widget.EditText;
import android.content.Context;
import android.content.Intent;

public class MainActivity extends Activity {
    private Button stplayer;
    private SpeechEmotionDetect speechEmotionDetect;
    protected Context mcontext;

    EditText emoResulText, speechResultText;

    String resultt2 = "";
    boolean showt2 = false;

    // 用HashMap存储听写结果
    private List<String> mIatResults = new ArrayList<String>();

    private List<String> emoResults = new ArrayList<String>();

    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_main);

        mcontext = this;

        emoResulText = (EditText) findViewById(R.id.voiceshow);
        speechResultText = (EditText) findViewById(R.id.faceshow);
        SDKAppInit.createInstance(this);
        speechEmotionDetect = SpeechEmotionDetect.createRecognizer(this, mInitListener);
        stplayer = (Button) findViewById(R.id.isr_recognize);


        if (showt2) {
            speechResultText.setText(resultt2);
        }

        stplayer.setOnClickListener(new OnClickListener() {
            @Override
            public void onClick(View v) {

                mIatResults = new ArrayList<String>();
                emoResults = new ArrayList<String>();

                emoResulText.setText("");
                speechResultText.setText("");

                speechEmotionDetect.startListening(mSpeechEmotionListener, SDKConstant.RC_TYPE_5, false, "52c8cef6");
            }
        });


    }


    /**
     * 初始化监听器。
     */
    private InitListener mInitListener = new InitListener() {

        @Override
        public void onInit(int code) {
            // 获取设备ID
            AdvancedInformation pp = AdvancedInformation.getSingleton(mcontext);

            SDKAppInit.registerforuid("AndroidSDKDemo",
                    pp.getp().getSimSerial(), "123456");
        }
    };


   

    private void printEmotionResult(String results) {

//		Log.e("printResult", results);

        JSONObject jsonObject;
        try {
            jsonObject = new JSONObject(results);

            int resultcode = jsonObject.getInt("resultcode");
            if (resultcode == 200) {

                String emoCode = jsonObject.getString("rc_main");
                if(emoCode.equals("K")) {
                    emoCode = "平静";
                } else if(emoCode.equals("C")) {
                    emoCode = "伤感";
                } else if(emoCode.equals("Y")) {
                    emoCode = "生气";
                } else if(emoCode.equals("M")) {
                    emoCode = "开心";
                } else if(emoCode.equals("W")) {
                    emoCode = "害怕";
                }


                emoResults.add(emoCode);

                StringBuffer resultBuffer = new StringBuffer();

                for (String iterable_element : emoResults) {
                    resultBuffer.append(iterable_element).append(", ");
                }

                Message msg = new Message();
                msg.what = 0;
                msg.obj = resultBuffer.toString();
                mainhandler.sendMessage(msg);

//				Log.e("XUNFEI", resultBuffer.toString());
            }

        } catch (JSONException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }

    }

    private void printSpeechResult(String results) {

        Log.e("printResult", results);

        String text = JsonParser.parseIatResult(results);

        String sn = null;
        // 读取json结果中的sn字段
        try {
            JSONObject resultJson = new JSONObject(results);
            sn = resultJson.optString("sn");
        } catch (JSONException e) {
            e.printStackTrace();
        }

        mIatResults.add(text);

        StringBuffer resultBuffer = new StringBuffer();

        for (String iterable_element : mIatResults) {
            resultBuffer.append(iterable_element);
        }

        Message msg = new Message();
        msg.what = 1;
        msg.obj = resultBuffer.toString();
        mainhandler.sendMessage(msg);

//		Log.e("XUNFEI", resultBuffer.toString());

    }

    Handler mainhandler = new Handler() {
        @Override
        public void handleMessage(Message msg) {
            switch (msg.what) {

                case 0:

                    emoResulText.setText((String) msg.obj);
                    break;

                case 1:
                    speechResultText.setText((String) msg.obj);
                    speechResultText.setVisibility(View.VISIBLE);
                    break;

                case 2:
                    emoResulText.setText((String) msg.obj);
                    speechResultText.setVisibility(View.INVISIBLE);
                    break;
                default:
                    break;
            }

        };
    };


    /**
     * 语音识别监听器。
     */
    private SpeechEmotionListener mSpeechEmotionListener = new SpeechEmotionListener() {

        @Override
        public void onVolumeChanged(int volume) {
			Log.e("tag", volume + "");
        }

        @Override
        public void onEndOfSpeech() {
            Log.e("EmotionVoiceListener", "结束说话");
        }

        @Override
        public void onBeginOfSpeech() {
            Log.e("EmotionVoiceListener", "开始说话");
        }

        @Override
        public void onEmotionResult(String result) {

            printEmotionResult(result);
            Log.e("emotion",result);
        }

        @Override
        public void onSpeechResult(String result) {
            printSpeechResult(result);

        }

    };


}

activity_main.xml

<?xml version="1.0" encoding="utf-8"?>
<LinearLayout xmlns:android="http://schemas.android.com/apk/res/android"
    android:layout_width="fill_parent"
    android:layout_height="fill_parent"
    android:orientation="vertical" >

    <EditText
        android:id="@+id/voiceshow"
        android:layout_width="match_parent"
        android:layout_height="200dp" />

    <EditText
        android:id="@+id/faceshow"
        android:layout_width="match_parent"
        android:layout_height="200dp" />

    <LinearLayout
        android:layout_width="match_parent"
        android:layout_height="wrap_content">
        <Button
            android:id="@+id/isr_recognize"
            android:layout_width="wrap_content"
            android:layout_height="wrap_content"
            android:text="recognize"/>
    </LinearLayout>
</LinearLayout>

AndroidManifest.xml

<?xml version="1.0" encoding="utf-8"?>
<manifest xmlns:android="http://schemas.android.com/apk/res/android"
    package="com.example.liche.emotionrecog">

    <application
        android:allowBackup="true"
        android:icon="@mipmap/ic_launcher"
        android:label="@string/app_name"
        android:roundIcon="@mipmap/ic_launcher_round"
        android:supportsRtl="true"
        android:theme="@style/AppTheme">
        <activity android:name=".MainActivity">
            <intent-filter>
                <action android:name="android.intent.action.MAIN" />

                <category android:name="android.intent.category.LAUNCHER" />
            </intent-filter>
        </activity>

        <meta-data
            android:name="EMOKIT_AID"
            android:value="101375" />
        <meta-data
            android:name="EMOKIT_KEY"
            android:value="2669e99e1b76ef4eff762d5b8acd1725" />
        <meta-data
            android:name="EMOKIT_RecordTaskAnimation"
            android:value="1" />
    </application>



    <!--设置录音 -->

    <uses-permission android:name="android.permission.RECORD_AUDIO" />
    <!-- 网络状态 -->
    <uses-permission android:name="android.permission.INTERNET" />
    <uses-permission android:name="android.permission.ACCESS_NETWORK_STATE" />

    <uses-permission android:name="android.permission.ACCESS_WIFI_STATE" />
    <uses-permission android:name="android.permission.CHANGE_NETWORK_STATE" />

    <uses-permission android:name="android.permission.READ_PHONE_STATE" />
    <!-- sd 卡获得写的权限-->

    <uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE" />


</manifest>
字体个性化lcc
关注
实训第二周（2）
catus121的博客
05-06 163
实训第四周
实训周第三天
lee_r的博客
05-07 765
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录实训3 信息加密与哈希函数实验目的二、使用步骤1.引入库2.读入数据总结 实训3 信息加密与哈希函数 实验目的 理解加密系统的概念。 掌握经典加密的主要方法。 理解混淆与扩散的概念。 掌握DES加密的主要方法。 了解非对称加密的重要意义。 掌握RSA加密算法的主要思想与使用方法。 理解数字签名的作用及生成方法。 二、使用步骤 1.引入库 代码如下（示例）： import numpy as np import pandas as
第二周实训
wewewe_的博客
06-02 165
这一周主要还是完善了音乐管理系统，写了音乐上传，音乐列表，用户列表，密码管理，还是利用bootstrap 里的栅格系统、表单、表格、按钮的一些样式。这些只是静态页面而已，主要功能还是要通过js来实现。利用bootstrap来写可以适应任何屏幕分辨率，里面的内容也会随着页面的缩小而缩小…还用到了jquery. <link rel="stylesheet" type="text/css" ...
实训第二周
猴子的博客
07-16 449
第二周 第一天7.9 1、首先探究了一下逻辑回归的原理 原理：二分类，通过线性、非线性回归+sigmoid得到概率 其他：损失函数，梯度下降（梯度） 2、开始考虑模型的选择，这是一个分类问题，示例程序的思路很清楚，就是输入数据，处理数据，处理ELO，得到特征值，逻辑回归。 对于我们，最重要的是特征值的选择，预处理，还有分类算法和参数的调节。这里我打算把大部分分类算法都试...
项目实训第二周2
xiaonuo96的博客
07-11 275
数据库基础知识之mysql学习 什么是数据库# 严格来讲数据库是一个存放数据的容器（仓库），可以是文件或是内存空间等。当我们需要访问数据库中数据时，我们需要使用到数据库管理系统（DBMS）。我们平时说的数据库是指：数据库管理系统（DBMS）+数据库（DB） 数据库概念的正规定义：对大量数据进行管理的高效的解决方案。 常见的数据库有： Mysql SQLServer Oracle PGSQL DB2(IBM) 什么是数据库管理系统# 数据库管理系统（DBMS）是指访问操作数据库的软件。
2022实训第二周内容.rar
01-05
2022实训第二周内容.rar
第二周实训.zip
05-15
第二周实训.zip
SMS1.0:实训第一周案例
05-01
【SMS1.0:实训第一周案例】 在IT行业中，"SMS1.0"可能指的是一个软件或系统版本，可能是“Simple Management System”的初期版本，主要用于教学或实践操作。实训第一周案例通常是为了帮助初学者逐步熟悉并掌握相关...
第二周实训报告_13_王翔.docx
07-03
根据提供的文档内容，我们可以归纳出本实训报告涉及的关键知识点，主要围绕JavaEE开发实训中的SSM框架应用。以下是对这些知识点的详细阐述： ### 实训背景及目标 实训旨在通过实际项目开发，使学生深入理解并掌握...
sms1.0:实训第一周小案例
05-01
【标题】"sms1.0:实训第一周小案例" 提示我们这可能是一个与Java相关的项目，可能是初学者在实训课程中接触的第一个版本。在这个案例中，学生可能正在学习如何构建基本的Java应用程序，可能涉及到核心的Java编程概念...
湖北工业大学在河南2021-2024各专业最低录取分数及位次表.pdf
09-16
全国各大学在河北2021-2024年各专业最低录取分数及录取位次数据，高考志愿必备参考数据
西南交通大学在河南2021-2024各专业最低录取分数及位次表.pdf
09-16
全国各大学在河北2021-2024年各专业最低录取分数及录取位次数据，高考志愿必备参考数据
DAY27使用的实时脚本文件
09-16
博客链接：https://blog.csdn.net/qq_47248729/article/details/142303818?spm=1001.2014.3001.5502
天水师范学院在河北2021-2024各专业最低录取分数及位次表.pdf
09-16
全国各大学在河北2021-2024年各专业最低录取分数及录取位次数据，高考志愿必备参考数据
matlab simulink 双馈风机调频，风电调频，风火水调频，虚拟惯性控制，下垂控制 参与系统一次调频的Matlab Si
09-16
matlab simulink 双馈风机调频，风电调频，风火水调频，虚拟惯性控制，下垂控制 参与系统一次调频的Matlab Simulink模型 系统为三机九节点模型，所有参数已调好且可调，可直接运行，风电渗透率20% 也可研究风火联合，火电调频等。有同步机调速器。 风电调频，IEEE9节点，双馈风机调频，一次调频，火电调频，同步机调频。 同步机部分带有调速器等部分。并网电压电流。 风电附带下垂控制，虚拟惯性控制，风电渗透率20%，有参考文献。也可研究风电并网，并网电压，电流波形
基于python实现的给定微博数据的反作弊识别
09-16
【作品名称】：基于python实现的给定微博数据的反作弊识别 【适用人群】：适用于希望学习不同技术领域的小白或进阶学习者。可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。 【项目介绍】： 基于给定微博数据进行垃圾微博识别 ###进度 对MICRO_BLOG.txt解析完毕 总天数:370 总微博数量:2056089 总垃圾微博数量:300555 ###程序运行的方法 python main.py ###目录结构 conf: 项目配置 data: 原始数据文件,未上传到github export: 程序输出文件 main.py: 主程序 垃圾微博判定策略 某个用户在30秒内连续发布15条微博，则命中垃圾微博策略 命中后，垃圾行为映射表中该用户对应次数+1，垃圾微博映射表中命中的所有微博对应出现次数+1 每次命中策略结束时清空该用户对应的15条微博信息 【资源声明】：本资源作为“参考资料”而不是“定制需求”，代码只能作为参考，不能完全复制照搬。不一定能够满足所有人的需求，需要有一定的基础能够看懂代码，能够自行调试代码并解决报错，能够自行添加功能修改代码。
linux下文件删除脚本
最新发布
09-16
https://blog.csdn.net/chengsinuo123456/article/details/142306575 简单写一个linux批量删除文件脚本（不含文件夹）附属文件，你需要自己nano或vi它修改成你需要的样子
第8周实践课安排.pdf
09-16
第8周实践课安排.pdf
西南医科大学在河北2021-2024各专业最低录取分数及位次表.pdf
09-16
全国各大学在河北2021-2024年各专业最低录取分数及录取位次数据，高考志愿必备参考数据
springboot实训第二周周志
07-01
很抱歉，由于我是一个知识型助手，我无法直接提供实时的实训周志内容。Spring Boot 实训周志...第二周的内容可能包括对Spring Boot基础知识的深入理解，如设置环境、创建第一个Spring Boot应用、配置基础的MVC结构等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值