Unity 通过jar包形式接入讯飞星火SDK

已于 2024-03-12 15:05:46 修改
阅读量817 收藏 1
点赞数 1
文章标签： unity jar 游戏引擎
于 2023-10-23 15:14:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39637610/article/details/133989653
版权
本文详细介绍了如何在安卓Unity项目中接入讯飞星火的SDK，包括下载、集成、修改代码以及使用WebSocket接口实现基础功能，最后提供了一个示例工程链接。
摘要由CSDN通过智能技术生成

最近工作上遇到了要接入gpt相关内容的需求，简单实现了一个安卓端接入讯飞星火的UnitySDK。
或者也可以接入WebSocket接口的。本文只讲安卓实现
我使用的Unity版本为2021.3.27f1c2
Android版本为4.2.2

1.下载SDK

登陆讯飞开放平台下载如图所示SDK
在这里插入图片描述

2.新建安卓工程

新建安卓工程，在工程下创建libs文件夹
在这里插入图片描述
下载的SDK解压后的aar文件至安卓工程的libs文件夹下
打开工程的build.gradle
复制以下代码
在这里插入图片描述
上面红框部分是引用aar，下面是打jar包的逻辑

3.根据原来的demo工程修改代码

package com.rayneo.sparklib;
import android.app.Activity;
import com.iflytek.sparkchain.core.LLM;
import com.iflytek.sparkchain.core.LLMCallbacks;
import com.iflytek.sparkchain.core.LLMConfig;
import com.iflytek.sparkchain.core.SparkChain;
import com.iflytek.sparkchain.core.SparkChainConfig;

public class SparkTool {

    private static final String TAG = "SparkLLM";
    private Activity _unityActivity;

    private String domain ="general";
    private String url = "wss://spark-api.xf-yun.com/v1.1/chat";

    public int initSDK(String appid,String apiKey,String apiSecret,int logLevel,String domain,String url) {
        // 初始化SDK，Appid等信息在清单中配置
        SparkChainConfig sparkChainConfig = SparkChainConfig.builder();
        sparkChainConfig.appID(appid)
                .apiKey(apiKey)
                .apiSecret(apiSecret)//应用申请的appid三元组
                .logLevel(logLevel);

        int ret = SparkChain.getInst().init(getActivity(),sparkChainConfig);

        this.domain = domain;
        this.url = url;

        return ret;
    }

    public void unInitSDK() {
        SparkChain.getInst().unInit();
    }

    Activity getActivity(){
        if(null == _unityActivity) {
            try {
                Class<?> classtype = Class.forName("com.unity3d.player.UnityPlayer");
                Activity activity = (Activity) classtype.getDeclaredField("currentActivity").get(classtype);
                _unityActivity = activity;
            } catch (ClassNotFoundException e) {

            } catch (IllegalAccessException e) {

            } catch (NoSuchFieldException e) {

            }
        }
        return _unityActivity;
    }

    public int startChat(ISparkLLMProxy unityProxy,String msg) {

        LLMConfig llmConfig = LLMConfig.builder();
        llmConfig.domain(domain)
                .url(url);
        LLM llm = new LLM(llmConfig);
        LLMCallbacks llmCallbacks = new SparkLLMCallbacks(unityProxy);
        llm.registerLLMCallbacks(llmCallbacks);
        String myContext = "myContext";

        int ret = llm.arun(msg,myContext);

        return ret;
    }

}

这几个接口分别是初始化，释放，获取Unity的Activity，开始gpt。

package com.rayneo.sparklib;

public interface ISparkLLMProxy {

    void onLLMResult(int status, String Content);

    void onLLMEvent(int eventID, String eventMsg);

    void onLLMError(int errorCode, String var2);

}


package com.rayneo.sparklib;

import android.util.Log;

import com.iflytek.sparkchain.core.LLMCallbacks;
import com.iflytek.sparkchain.core.LLMError;
import com.iflytek.sparkchain.core.LLMEvent;
import com.iflytek.sparkchain.core.LLMResult;

public class SparkLLMCallbacks implements LLMCallbacks {

    private static final String TAG = "SparkLLMCallbacks";
    private ISparkLLMProxy unityProxy;

    public SparkLLMCallbacks(ISparkLLMProxy unityProxy) {
        this.unityProxy = unityProxy;
    }

    @Override
    public void onLLMResult(LLMResult llmResult, Object usrContext) {
        Log.d(TAG, "onLLMResult\n");
        String content = llmResult.getContent();
        Log.e(TAG, "onLLMResult:" + content);
        int status = llmResult.getStatus();
        if (unityProxy != null) {
            unityProxy.onLLMResult(status, content);
        }
    }

    @Override
    public void onLLMEvent(LLMEvent event, Object usrContext) {
        Log.d(TAG, "onLLMEvent\n");
        Log.w(TAG, "onLLMEvent:" + " " + event.getEventID() + " " + event.getEventMsg());
        if (unityProxy != null) {
            unityProxy.onLLMEvent(event.getEventID(), event.getEventMsg());
        }
    }

    @Override
    public void onLLMError(LLMError error, Object usrContext) {
        Log.d(TAG, "onLLMError\n");
        Log.e(TAG, "errCode:" + error.getErrCode() + "errDesc:" + error.getErrMsg());
        if (unityProxy != null) {
            unityProxy.onLLMError(error.getErrCode(), error.getErrMsg());
        }
    }
}

实现回调接口，让Unity可以注册
在这里插入图片描述
点击此处导出jar包
在这里插入图片描述

4.导入Unity工程

拷贝jar包和aar包至Unity工程此目录下
在这里插入图片描述

Androidmanifest增加
在这里插入图片描述
权限

using System;
using UnityEngine;
using UnityEngine.UI;
//using FfalconXR;

public class IFlyLLMHandler : MonoBehaviour
{
    public InputField input;

    public Button button;

    public Text text;

    private AndroidJavaObject sparkToolInstance;
    private void Start()
    {
        Loom.Initialize();
        sparkToolInstance = new AndroidJavaObject("com.rayneo.sparklib.SparkTool");

        InitializeSDK();

        button.onClick.AddListener(() =>
        {
            text.text = "";
            StartChat(input.text);
        });
    }
    public void InitializeSDK()
    {
        if (sparkToolInstance != null)
        {
            //输入开放平台的apikey等数据，appid,apiKey,apiSecret,logLevel,domain,url
            int ret = sparkToolInstance.Call<int>("initSDK", "9e803172", "e4045501df3916cad0c4137d43db8b3b", "ZWFiZGYwMjllNTkyYTFmNjE1YTNiMWRk", 0, "general", "");
            Debug.Log("initializeSDK error code is" + ret);
        }
        else
        {
            Debug.LogError("SparkTool instance is null. Make sure the Android plugin is properly imported.");
        }
    }
    public void StartChat(string msg)
    {
        if (sparkToolInstance != null)
        {
            int ret = sparkToolInstance.Call<int>("startChat", new SparkLLMProxy(onLLMResult, onLLMEvent, onLLMError), msg);
            Debug.Log("startChat error code is" + ret);
        }
        else
        {
            Debug.LogError("SparkTool instance is null. Make sure the Android plugin is properly imported.");
        }
    }

    private void onLLMError(int errorCode, string error)
    {
        Debug.Log("onLLMError errorCode " + errorCode + " error message " + error);
    }

    private void onLLMEvent(int eventID, string eventMsg)
    {
        Debug.Log("onLLMError eventID " + eventID + " eventMsg " + eventMsg);
    }

    private void onLLMResult(int status, string content)
    {
        Loom.QueueOnMainThread((p) =>
        {
            text.text += content;
        }, null);

        Debug.Log("onLLMResult status " + status + " content " + content);
    }

    public void UninitializeSDK()
    {
        if (sparkToolInstance != null)
        {
            sparkToolInstance.Call("unInitSDK");
        }
        else
        {
            Debug.LogError("SparkTool instance is null. Make sure the Android plugin is properly imported.");
        }
    }
}
public class SparkLLMProxy : AndroidJavaProxy
{

    private Action<int, string> onLLMResultCallback;
    private Action<int, string> onLLMEventCallback;
    private Action<int, string> onLLMErrorCallback;

    public SparkLLMProxy(Action<int, string> onLLMResult, Action<int, string> onLLMEvent, Action<int, string> onLLMError) : base("com.rayneo.sparklib.ISparkLLMProxy")
    {
        onLLMResultCallback = onLLMResult;
        onLLMEventCallback = onLLMEvent;
        onLLMErrorCallback = onLLMError;
    }

    public void onLLMResult(int status, string content)
    {
        if (onLLMResultCallback != null)
        {
            onLLMResultCallback(status, content);
        }
    }

    public void onLLMEvent(int eventID, string eventMsg)
    {
        if (onLLMEventCallback != null)
        {
            onLLMEventCallback(eventID, eventMsg);
        }
    }

    public void onLLMError(int errorCode, string error)
    {
        if (onLLMErrorCallback != null)
        {
            onLLMErrorCallback(errorCode, error);
        }
    }

}

接入安卓接口
打包运行至手机上
在这里插入图片描述
左边输入栏输入文本，点击按钮发送。收到返回即代表成功。

工程仓库地址为:https://github.com/oneSitDown/spark-unity

oneSitDown
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Unity对接科大讯飞实时语音转写WebAPI（Windows平台）（一）
cheng219101的专栏
04-30 1025
要实现语音转文字。首先我们需要从麦克风获取到语音数据，这里用到了Microphone类，Unity自带；其次，需要将语音数据发送给讯飞，这里用到的是WebSocketSharp.WebSocket，用习惯了。然后就是按照文档一步步踩坑了。
Unity 调用Java | 调用aar包 | 调用jar包 | Java内部类，附带实例，看我一篇就够啦~
Liyager的博客
08-04 3897
Unity 调用java、jar、aar，看我看我看我！绝对不会失望哦~
Unity 调用 JAR
ljxh401的博客
07-24 1715
在网上看了 很多 调用 JAR 都要包含 D:\****\Editor\Data\PlaybackEngines\AndroidPlayer\Variations\mono\Release\Classes 里面的 class.jar 但是我觉得 只是 单向 unity 调用jar ,没有 jar 调用unity 的函数 应该 不必须 所以 我创建 一个com.yiyo.jartest 的工程 在里面 创建一个 model 命名为 mylib 所以 这个库的 全名是com.yiyo....
Unity与Android交互-引入Unity的内置的jar包
jiaxunnanling的博客
05-16 2267
使用的AndroidStuido版本 新建一个Android工程 下一步 ，选择API16，Unity支持最低的API为16 下一步，新建一个空的Activity 下一步，目录结构 在该工程新建一个Module，选择Android Library，用来制作给Unity使用的模块 下一步，命名为add 目录结构 切换显示目录到...
Unity3D 如何解决打包jar包冲突详解
2301_80135027的博客
01-04 1009
总结起来，Unity3D解决打包jar包冲突的方法主要有四种：使用Gradle的exclude命令排除冲突的库、使用Gradle的resolutionStrategy命令解决冲突、使用Gradle的exclude group命令排除冲突的库、使用Gradle的packagingOptions命令解决冲突。在这个过程中，Unity会将项目中使用的所有库都打包进去，包括Unity自带的库和我们引入的第三方库。在这个工程的build.gradle文件中，可以使用Gradle的exclude命令排除冲突的库。
Unity中使用jar包方法及遇到的问题总结
menghuangxiao的专栏
03-20 4372
    在eclipse中导出jar包，并在Unity3d中如何使用可参考以下文章：（1）http://blog.csdn.net/onafioo/article/details/46625807（2）https://www.cnblogs.com/wuzhang/p/wuzhang20160701.html（3）https://www.cnblogs.com/unitySPK/p/7018565...
Unity 接入讯飞语音识别包(Android)
07-25
以上就是Unity接入讯飞语音识别包在Android平台的基本流程。通过这个过程，开发者可以为Unity游戏添加语音控制、语音交互等功能，提升游戏的交互性和趣味性。在实际开发中，还应注意兼容性问题，以及遵循讯飞SDK的...
unity通过WebAPI连接Websocket实现讯飞语音识别与合成
05-18
unity写的讯飞语音识别合成与评测功能，走的是webapi,连接讯飞WebSocket服务器没有接入任何sdk，也没有多余插件，开发工具unity2019.3.6 ，真正实现了跨平台，不用在每个平台重新接入sdk这么麻烦了！
unity接入海康威视sdk
12-24
在IT行业中，Unity是一款广泛应用的游戏开发引擎，而海康威视是一家知名的安防设备制造商，提供SDK（Software Development Kit）供开发者接入其设备和服务。本文将详细介绍如何在Unity中接入海康威视的SDK，以及...
unity接入SDK流程（android）
11-19
在Unity中接入Android SDK涉及到多个步骤，这包括设置开发环境、编写C#脚本与Java原生代码的交互以及处理Android工程的构建和打包。以下是对这个过程的详细解释： 1. **开发环境准备**： - **Unity**: 首先确保...
Unity调用jar包或者aar包
XR风云
01-24 7185
最近一直在做VR云会议，使用到了华为云会议的服务，华为云会议服务没有提供Unity版本的SDK,提供了Android版本的native sdk，那就自己只能在Unity中自己封装一层来调用Android接口。在这过程中，碰到了一些问题，做一下总结。 1、获取当前的Application或者当前的Activity using AndroidJavaClass unityPlayer = new AndroidJavaClass("com.unity3d.player.UnityP
unity接入讯飞AIUI(Windows SDK)
weixin_41132607的博客
05-09 2108
在 unity 中接入讯飞 AIUI(Windows SDK)
android studio 打包.jar到unity调用
zcc858079762的博客
02-24 530
最近接入讯飞语音到unity工程里，是需要把.jar接入到unity中 遇到了一些坑 在此分享给大家 希望大家少走弯路 如果有什么问题 欢迎留言讨论qq:1902649397 网上看了很多例子 有点小细节没有注意就会导致 导出apk包不能使用 我用AndroidStudio导出jar 环境：AndroidStudio3.0 + Unity2017.2 这两个的安装就不在这里讨论了 网上的教程很多了 大概步骤分以下几步： （1）、创建AndroidStudio工程 （2）、生成.jar （3
研究讯飞星火模型的时候，使用websocket的一个总结
qq_34297991的博客
07-07 1443
注意：发送数据的php需要用cmd方便调试，因为cmd可以直接运行php，并且能把每次发过来的东西都打印出来。
Unity2021接入讯飞语音听写（Android）
ObsessionLi的博客
03-24 1788
Unity 讯飞语音听写 Android
讯飞星火大模型+讯飞TTS语音听写 Android Studio开发初步实现
最新发布
m0_62044474的博客
04-07 1865
程序效果演示 本程序只是单纯的把API摆出来裸跑，没做任何线程优化。纯用来学习的 程序运行机制 程序API概览 申请创建平台API调用 进入科大讯飞开放平台讯飞开放平台-以语音交互为核心的人工智能开放平台 (xfyun.cn) 创建一个API 没有号的先注册哈 (普通用户星火大模型每个版本只能买一次，我之前买了这个版本在我另外的项目) 下载SDK 然后下载语音听写的SDK 与 星火大模型的SDK(注意你下载的这些SDK包是与你的APPID深度绑定的，直接在相同的项目换A
Unity使用科大讯飞-语音转写接口
记录
05-18 798
【代码】Unity使用科大讯飞-语音转写接口。
Unity与安卓⭐四、 Unity与Jar包通讯
星河造梦坊
06-04 977
Jar和aar的通讯方法一致，都是包名+类名。
unity通过webapi连接websocket实现讯飞语音识别与合成
06-06
Unity通过WebAPI与WebSocket的连接，实现了与讯飞语音识别与合成的功能。这个连接的过程中，Unity首先使用WebAPI向讯飞开放平台发送语音请求，获取到参数后发送语音数据。语音数据通过WebSocket封装后发送给讯飞云API，在云端进行语音识别与合成的处理。处理结果再通过WebSocket返回给Unity，最终在游戏场景中实现了语音识别与合成的功能。 这种在线语音识别与合成的方式给游戏开发者带来了极大的方便，使得游戏互动更加自然。无需使用繁琐的文本输入方式，玩家可以直接与游戏进行语音交互。同时，这种方式也为游戏开发的智能化提供了可能，通过语音识别在游戏中添加更多和交互相关的功能。 然而，这种在线方式的缺点也不容忽视。因为依赖云端处理，必须保持网络连接，如果网络信号不好或者服务器端出现问题，可能会造成语音识别与合成的不稳定性。另外，在一些游戏场景下，语音输入的灵敏度和准确度也是需要考虑的问题。总之，语音识别与合成是游戏开发的新趋势之一，需要游戏开发者在实践中不断探索和创新。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值