零基础开启元宇宙｜如何快速创建虚拟形象

最新推荐文章于 2024-06-02 18:21:33 发布
最新推荐文章于 2024-06-02 18:21:33 发布
阅读量177 收藏 1
点赞数
文章标签： 人工智能 图像处理 音视频 Powered by 金山文档
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Atoops/article/details/128977753
版权

元宇宙（Metaverse），是人类运用数字技术构建的，由现实世界映射或超越现实世界，可与现实世界交互的虚拟世界，具备新型社会体系的数字生活空间。

可见元宇宙第一步是创建专属虚拟形象，但创建3D虚拟形象需要3D基础知识。对于大部分android开发者(包括我本人)来说没有这方面的积累。难道因此我们就难以进入元宇宙的世界吗？不，今天我们借助即构平台提供的Avatar SDK，只要有Android基础即可进入最火的元宇宙世界！先看效果：

上面gif被压缩的比较狠，这里放一张截图：

1 免费注册即构开发者

前往即构控制台网站：console.zego.im/注册开发者账户。注册成功后，创建项目：

控制台中可以得到AppID和AppSign两个数据，这两个数据是重要凭证，后面会用到。

由于我们用到了即构的Avatar功能，但目前官方没有提供线上自动开启方式，需要主动找客服申请（当然，这是免费的），只需提供自己项目的包名，即可开通Avatar权限。打开doc-zh.zego.im/article/152…右下角有“联系我们”，点击即可跟客服申请免费开通权限。

注意，如果不向客服申请Avatar权限，调用AvatarSDK会失败！

2 准备开发环境

前往即构官方元宇宙开发SDK网站doc-zh.zego.im/article/153…下载SDK，得到如下文件列表：

接下来过程如下：

  1. 打开SDK目录，将里面的ZegoAvatar.aar拷贝至app/libs目录下。

  1. 添加SDK引用。打开app/build.gradle文件，在dependencies节点引入 libs下所有的jar和aar:

dependencies {
 
    implementation fileTree(dir: 'libs', include: ['*.jar', "*.aar"]) //通配引入
    
    //其他略
}

  1. 设置权限。根据实际应用需要，设置应用所需权限。进入app/src/main/AndroidManifest.xml 文件，添加权限。

<uses-permissionandroid:name="android.permission.RECORD_AUDIO"/>
<uses-permissionandroid:name="android.permission.INTERNET"/>
<uses-permissionandroid:name="android.permission.ACCESS_WIFI_STATE"/>
<uses-permissionandroid:name="android.permission.ACCESS_NETWORK_STATE"/>
<uses-permissionandroid:name="android.permission.CAMERA"/>
<uses-permissionandroid:name="android.permission.BLUETOOTH"/>
<uses-permissionandroid:name="android.permission.MODIFY_AUDIO_SETTINGS"/>
<uses-permissionandroid:name="android.permission.WRITE_EXTERNAL_STORAGE"/>
<uses-permissionandroid:name="android.permission.READ_EXTERNAL_STORAGE"/>
​
<uses-feature
    android:glEsVersion="0x00020000"
    android:required="true"/>
<uses-featureandroid:name="android.hardware.camera"/>
<uses-featureandroid:name="android.hardware.camera.autofocus"/>
因为Android 6.0在一些比较重要的权限上要求必须申请动态权限，不能只通过 AndroidMainfest.xml文件申请静态权限。具体动态请求权限代码可看附件源码。

3 导入资源

上一小节下载的zip文件中，有个assets目录。里面包含了Avatar形象相关资源，如：衣服、眉毛、鞋子等。这是即构官方免费提供的资源，可以满足一般性需求了。当然了，如果想要自己定制资源也是可以的。assets文件内容如下：

资源名称

说明

AIModel.bundle

Avatar 的 AI 模型资源。当使用表情随动、声音随动、AI 捏脸等能力时，必须先将该资源的绝对路径设置给 Avatar SDK。

base.bundle

美术资源，包含基础 3D 人物模型资源、资源映射表、人物模型默认外形等。

Packages

美妆、挂件、装饰等资源。 每个资源 200 KB ~ 1 MB 不等，跟资源复杂度相关。

注意：由于资源文件很大，上面下载的美术资源只包含少量必须资源。如果需要全部资源，可以去官网找客服索要： doc-zh.zego.im/article/148…

上面的文件需要存放到Android本地SDCard上，这里有2个方案可供参考：

  • 方案一： 将资源先放入到app/src/assets目录内，然后在app启动时，自动将assets的内容拷贝到SDcard中。

  • 方案二： 将资源放入到服务器端，运行时自动从服务器端下载。

为了简单起见，我们这里采用方案一。参考代码如下, 详细代码可以看附件：

AssetsFileTransfer.copyAssetsDir2Phone(this.getApplication(),
            "AIModel.bundle", "assets");
AssetsFileTransfer.copyAssetsDir2Phone(this.getApplication(),
            "base.bundle", "assets");
AssetsFileTransfer.copyAssetsDir2Phone(this.getApplication(),
            "Packages", "assets");

4 创建虚拟形象

创建虚拟形象本质上来说就是调用即构的Avatar SDK，其大致流程如下：

接下来我们逐步实现上面流程。

需要注意的是，上面示意图中采用的是AvatarView，可以非常方便的直接展示Avatar形象，但是不方便后期将画面通过RTC实时传递， 因此，我们后面的具体实现视通过TextureView替代AvatarView。

【文章福利】小编整理了一些音视频学习资料包、大厂面试题、技术视频和学习路线图，包括（C/C++，Linux，FFmpegwebRTCrtmp hlsrtsp ffplay srs 等等资料）有需要的可以点击994289133加群免费领取哦~

4.1 申请权鉴

这里再次强调一下，一定要打开doc-zh.zego.im/article/152…点击右下角有“联系我们”，向客服申请免费开通Avatar权限。否则无法使用Avatar SDK。

申请权鉴代码如下：

publicclassKeyCenter { 
    // 控制台地址: https://console.zego.im/dashboard 
    publicstaticlongAPP_ID=这里值可以在控制台查询，参考第一节;  //这里填写APPID
    publicstaticStringAPP_SIGN=  这里值可以在控制台查询，参考第一节; 
    // 鉴权服务器的地址
    publicfinalstaticStringBACKEND_API_URL="https://aieffects-api.zego.im?Action=DescribeAvatarLicense";
​
    publicstaticStringavatarLicense=null;
    publicstaticStringgetURL(StringauthInfo) {
        Uri.Builderbuilder=Uri.parse(BACKEND_API_URL).buildUpon();
        builder.appendQueryParameter("AppId", String.valueOf(APP_ID));
        builder.appendQueryParameter("AuthInfo", authInfo);
​
        returnbuilder.build().toString();
    }
​
    publicinterfaceIGetLicenseCallback {
        voidonGetLicense(intcode, Stringmessage, ZegoLicenselicense);
    }
​
    /**
     * 在线拉取 license
     * @param context
     * @param callback
     */
    publicstaticvoidgetLicense(Contextcontext, finalIGetLicenseCallbackcallback) {
        requestLicense(ZegoAvatarService.getAuthInfo(APP_SIGN, context), callback);
    }
​
    /**
     * 获取license
     * */
    publicstaticvoidrequestLicense(StringauthInfo, finalIGetLicenseCallbackcallback) {
​
        Stringurl=getURL(authInfo);
​
        HttpRequest.asyncGet(url, ZegoLicense.class, (code, message, responseJsonBean) -> {
            if (callback!=null) {
                callback.onGetLicense(code, message, responseJsonBean);
            }
        });
    }
​
​
    publicclassZegoLicense {
        @SerializedName("License")
        privateStringlicense;
        publicStringgetLicense() {
            returnlicense;
        }
        publicvoidsetLicense(Stringlicense) {
            this.license=license;
        }
    }
​
}
在获取Lincense时，只需调用getLicense函数，例如在Activity类中只需如下调用：
KeyCenter.getLicense(this, (code, message, response) -> {
        if (code==0) {
            KeyCenter.avatarLicense=response.getLicense();
            showLoading("正在初始化...");
            avatarMngr=AvatarMngr.getInstance(getApplication());
            avatarMngr.setLicense(KeyCenter.avatarLicense, this);
        } else {
            toast("License 获取失败, code: "+code);
        }
    });

4.2 初始化AvatarService

初始化AvatarService过程比较漫长（可能要几秒），通过开启worker线程后台加载以避免主线程阻塞。因此我们定义一个回调函数，待完成初始化后回调通知：

publicinterfaceOnAvatarServiceInitSucced {
    voidonInitSucced();
}
​
publicvoidsetLicense(Stringlicense, OnAvatarServiceInitSuccedlistener) {
    this.listener=listener;
    ZegoAvatarService.addServiceObserver(this);
    StringaiPath=FileUtils.getPhonePath(mApp, "AIModel.bundle", "assets"); //   AI 模型的绝对路径
    ZegoServiceConfigconfig=newZegoServiceConfig(license, aiPath);
    ZegoAvatarService.init(mApp, config);
}
​
@Override
publicvoidonStateChange(ZegoAvatarServiceStatestate) {
    if (state==ZegoAvatarServiceState.InitSucceed) {
        Log.i("ZegoAvatar", "Init success");
        // 要记得及时移除通知
        ZegoAvatarService.removeServiceObserver(this);
        if (listener!=null) listener.onInitSucced();
    }
}

这里setLicense函数内完成初始化AvatarService，初始化完成后会回调onStateChange函数。但是要注意，在初始化之前必须把资源文件拷贝到本地SDCard，即完成资源导入：

privatevoidinitRes(Applicationapp) {

// 先把资源拷贝到SD卡，注意：线上使用时，需要做一下判断，避免多次拷贝。资源也可以做成从网络下载。

    if (!FileUtils.checkFile(app, "AIModel.bundle", "assets"))
        FileUtils.copyAssetsDir2Phone(app, "AIModel.bundle", "assets");
    if (!FileUtils.checkFile(app, "base.bundle", "assets"))
        FileUtils.copyAssetsDir2Phone(app, "base.bundle", "assets");
    if (!FileUtils.checkFile(app, "human.bundle", "assets"))
        FileUtils.copyAssetsDir2Phone(app, "human.bundle", "assets");
    if (!FileUtils.checkFile(app, "Packages", "assets"))
        FileUtils.copyAssetsDir2Phone(app, "Packages", "assets");
}

4.3 创建虚拟形象

前面在doc-zh.zego.im/article/153…下载SDK包含了helper目录，这个目录里面有非常重要的两个文件：

其中ZegoCharacterHelper文件是个接口定义类，即虽然是个类，但具体的实现全部在ZegoCharacterHelperImpl中。我们先一睹为快，看看ZegoCharacterHelper包含了哪些可处理的属性:

publicclassZegoCharacterHelper {
    publicstaticfinalStringMODEL_ID_MALE="male";
    publicstaticfinalStringMODEL_ID_FEMALE="female";
    //****************************** 捏脸维度的 key 值 ******************************/
    publicstaticfinalStringFACESHAPE_BROW_SIZE_Y="faceshape_brow_size_y";// 眉毛厚度, 取值范围0.0-1.0，默认值0.5
    publicstaticfinalStringFACESHAPE_BROW_SIZE_X="faceshape_brow_size_x";// 眉毛长度, 取值范围0.0-1.0，默认值0.5
    publicstaticfinalStringFACESHAPE_BROW_ALL_Y="faceshape_brow_all_y";// 眉毛高度, 取值范围0.0-1.0，默认值0.5
    publicstaticfinalStringFACESHAPE_BROW_ALL_ROLL_Z="faceshape_brow_all_roll_z";// 眉毛旋转, 取值范围0.0-1.0，默认值0.5
    publicstaticfinalStringFACESHAPE_EYE_SIZE="faceshape_eye_size"; // 眼睛大小, 取值范围0.0-1.0，默认值0.5
    publicstaticfinalStringFACESHAPE_EYE_SIZE_Y="faceshape_eye_size_y";
    publicstaticfinalStringFACESHAPE_EYE_ROLL_Y="faceshape_eye_roll_y";// 眼睛高度, 取值范围0.0-1.0，默认值0.5
    publicstaticfinalStringFACESHAPE_EYE_ROLL_Z="faceshape_eye_roll_z";// 眼睛旋转, 取值范围0.0-1.0，默认值0.5
    publicstaticfinalStringFACESHAPE_EYE_X="faceshape_eye_x";// 双眼眼距, 取值范围0.0-1.0，默认值0.5
    publicstaticfinalStringFACESHAPE_NOSE_ALL_X="faceshape_nose_all_x";// 鼻子宽度, 取值范围0.0-1.0，默认值0.5
    publicstaticfinalStringFACESHAPE_NOSE_ALL_Y="faceshape_nose_all_y";// 鼻子高度, 取值范围0.0-1.0，默认值0.5
    publicstaticfinalStringFACESHAPE_NOSE_SIZE_Z="faceshape_nose_size_z";
    publicstaticfinalStringFACESHAPE_NOSE_ALL_ROLL_Y="faceshape_nose_all_roll_y";// 鼻头旋转, 取值范围0.0-1.0，默认值0.5
    publicstaticfinalStringFACESHAPE_NOSTRIL_ROLL_Y="faceshape_nostril_roll_y";// 鼻翼旋转, 取值范围0.0-1.0，默认值0.5
    publicstaticfinalStringFACESHAPE_NOSTRIL_X="faceshape_nostril_x";
    publicstaticfinalStringFACESHAPE_MOUTH_ALL_Y="faceshape_mouth_all_y";// 嘴巴上下, 取值范围0.0-1.0，默认值0.5
    publicstaticfinalStringFACESHAPE_LIP_ALL_SIZE_Y="faceshape_lip_all_size_y";// 嘴唇厚度, 取值范围0.0-1.0，默认值0.5
    publicstaticfinalStringFACESHAPE_LIPCORNER_Y="faceshape_lipcorner_y";// 嘴角旋转, 取值范围0.0-1.0，默认值0.5
    publicstaticfinalStringFACESHAPE_LIP_UPPER_SIZE_X="faceshape_lip_upper_size_x"; // 上唇宽度, 取值范围0.0-1.0，默认值0.5
    publicstaticfinalStringFACESHAPE_LIP_LOWER_SIZE_X="faceshape_lip_lower_size_x"; // 下唇宽度, 取值范围0.0-1.0，默认值0.5
    publicstaticfinalStringFACESHAPE_JAW_ALL_SIZE_X="faceshape_jaw_all_size_x";// 下巴宽度, 取值范围0.0-1.0，默认值0.5
    publicstaticfinalStringFACESHAPE_JAW_Y="faceshape_jaw_y";// 下巴高度, 取值范围0.0-1.0，默认值0.5
    publicstaticfinalStringFACESHAPE_CHEEK_ALL_SIZE_X="faceshape_cheek_all_size_x";// 脸颊宽度, 取值范围0.0-1.0，默认值0.5
​
    //其他函数略
}

可以看到，上面数据基本包含所有人脸属性了，基本具备了捏脸能力，篇幅原因，我们这里不具体去实现。有这方面需求的读者，可以通过在界面上调整上面相关属性来实现。

接下来我们开始创建虚拟形象，首先创建一个User实体类：

publicclassUser {
    publicStringuserName; //用户名
    publicStringuserId; //用户ID
    publicbooleanisMan; //性别
    publicintwidth; //预览宽度
    publicintheight; //预览高度
    publicintbgColor; //背景颜色
    publicintshirtIdx=0; // T-shirt资源id
    publicintbrowIdx=0; //眉毛资源id
​
    publicUser(StringuserName, StringuserId, intwidth, intheight) {
        this.userName=userName;
        this.userId=userId;
        this.width=width;
        this.height=height;
        this.isMan=true;
        bgColor=Color.argb(255, 33, 66, 99);
    }  
}

示例作用，为了简单起见，我们这里只针对眉毛和衣服资源做选取。接下来创建一个Activity：

publicclassAvatarActivityextendsBaseActivity  {
    privateintvWidth=720;
    privateintvHeight=1080; 
    privateUseruser=newUser("C_0001", "C_0001", vWidth, vHeight);
    privateTextureViewmTextureView;  //用于显示Avatar形象
    privateAvatarMngrmAvatarMngr; // 用于维护管理Avatar
    privateColorPickerDialogcolorPickerDialog; //用于背景色选取
​
    @Override
    protectedvoidonCreate(BundlesavedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_avatar);
        
        // ....
        // 其他初始化界面相关代码略...
        // ....
​
        user.isMan=true;
        mTextureView=findViewById(R.id.avatar_view);  
        mZegoMngr=ZegoMngr.getInstance(getApplication()); 
        // 开启虚拟形象预览
        mAvatarMngr.start(mTextureView, user);
    }

最后一行代码中开启了虚拟形象预览，那么这里开启虚拟形象预览具体做了哪些工作呢？show me the code:

publicclassAvatarMngrimplementsZegoAvatarServiceDelegate, RTCMngr.CaptureListener {
    privatestaticfinalStringTAG="AvatarMngr";
    privatestaticAvatarMngrmInstance;
    privatebooleanmIsStop=false;
​
    privateUsermUser=null;
    privateTextureBgRendermBgRender=null;
    privateOnAvatarServiceInitSuccedlistener;
    privateZegoCharacterHelpermCharacterHelper;
    privateApplicationmApp;
​
    publicinterfaceOnAvatarServiceInitSucced {
        voidonInitSucced();
    }
​
    publicvoidsetLicense(Stringlicense, OnAvatarServiceInitSuccedlistener) {
        this.listener=listener;
        ZegoAvatarService.addServiceObserver(this);
        StringaiPath=FileUtils.getPhonePath(mApp, "AIModel.bundle", "assets"); //   AI 模型的绝对路径
        ZegoServiceConfigconfig=newZegoServiceConfig(license, aiPath);
        ZegoAvatarService.init(mApp, config);
    }
​
    publicvoidstop() {
        mIsStop=true;
        mUser=null;
        stopExpression();
    }
​
    publicvoidupdateUser(Useruser) {
        mUser=user;
        if (user.shirtIdx==0) {
            mCharacterHelper.setPackage("m-shirt01");
        } else {
            mCharacterHelper.setPackage("m-shirt02");
        }
        if (user.browIdx==0) {
            mCharacterHelper.setPackage("brows_1");
        } else {
            mCharacterHelper.setPackage("brows_2");
        }
    }
​
    /**
     * 启动Avatar，调用此函数之前，请确保已经调用过setLicense
     *
     * @param avatarView
     */
    publicvoidstart(TextureViewavatarView, Useruser) {
        mUser=user;
        mIsStop=false;
        initAvatar(avatarView, user);
        startExpression();
    }
​
    privatevoidinitAvatar(TextureViewavatarView, Useruser) {
        Stringsex=ZegoCharacterHelper.MODEL_ID_MALE;
        if (!user.isMan) sex=ZegoCharacterHelper.MODEL_ID_FEMALE;
​
        // 创建 helper 简化调用
        // base.bundle 是头模, human.bundle 是全身人模
        mCharacterHelper=newZegoCharacterHelper(FileUtils.getPhonePath(mApp, "human.bundle", "assets"));
        mCharacterHelper.setExtendPackagePath(FileUtils.getPhonePath(mApp, "Packages", "assets"));
        // 设置形象配置
        mCharacterHelper.setDefaultAvatar(sex);
        updateUser(user);
        // 获取当前妆容数据, 可以保存到用户资料中
        Stringjson=mCharacterHelper.getAvatarJson();
​
    }
​
    // 启动表情检测
    privatevoidstartExpression() {
        // 启动表情检测前要申请摄像头权限, 这里是在 MainActivity 已经申请过了
        ZegoAvatarService.getInteractEngine().startDetectExpression(ZegoExpressionDetectMode.Camera, expression-> {
            // 表情直接塞给 avatar 驱动
            mCharacterHelper.setExpression(expression);
        });
    }
​
    // 停止表情检测
    privatevoidstopExpression() {
        // 不用的时候记得停止
        ZegoAvatarService.getInteractEngine().stopDetectExpression();
    }
​
    // 获取到 avatar 纹理后的处理
    publicvoidonCaptureAvatar(inttextureId, intwidth, intheight) {
        if (mIsStop||mUser==null) { // rtc 的 onStop 是异步的, 可能activity已经运行到onStop了, rtc还没
            return;
        }
        booleanuseFBO=true;
        if (mBgRender==null) {
            mBgRender=newTextureBgRender(textureId, useFBO, width, height, Texture2dProgram.ProgramType.TEXTURE_2D_BG);
        }
        mBgRender.setInputTexture(textureId);
        floatr=Color.red(mUser.bgColor) /255f;
        floatg=Color.green(mUser.bgColor) /255f;
        floatb=Color.blue(mUser.bgColor) /255f;
        floata=Color.alpha(mUser.bgColor) /255f;
        mBgRender.setBgColor(r, g, b, a);
        mBgRender.draw(useFBO); // 画到 fbo 上需要反向的
        ZegoExpressEngine.getEngine().sendCustomVideoCaptureTextureData(mBgRender.getOutputTextureID(), width, height, System.currentTimeMillis());
​
​
    }
​
    @Override
    publicvoidonStartCapture() {
        if (mUser==null) return;
//        // 收到回调后，开发者需要执行启动视频采集相关的业务逻辑，例如开启摄像头等
        AvatarCaptureConfigconfig=newAvatarCaptureConfig(mUser.width, mUser.height);
//        // 开始捕获纹理
        mCharacterHelper.startCaptureAvatar(config, this::onCaptureAvatar);
    }
​
    @Override
    publicvoidonStopCapture() {
        mCharacterHelper.stopCaptureAvatar();
        stopExpression();
    }
​
​
    privatevoidinitRes(Applicationapp) {
        // 先把资源拷贝到SD卡，注意：线上使用时，需要做一下判断，避免多次拷贝。资源也可以做成从网络下载。
        if (!FileUtils.checkFile(app, "AIModel.bundle", "assets"))
            FileUtils.copyAssetsDir2Phone(app, "AIModel.bundle", "assets");
        if (!FileUtils.checkFile(app, "base.bundle", "assets"))
            FileUtils.copyAssetsDir2Phone(app, "base.bundle", "assets");
        if (!FileUtils.checkFile(app, "human.bundle", "assets"))
            FileUtils.copyAssetsDir2Phone(app, "human.bundle", "assets");
        if (!FileUtils.checkFile(app, "Packages", "assets"))
            FileUtils.copyAssetsDir2Phone(app, "Packages", "assets");
​
    }
​
    @Override
    publicvoidonError(ZegoAvatarErrorCodecode, Stringdesc) {
        Log.e(TAG, "errorcode : "+code.getErrorCode() +",desc : "+desc);
    }
​
    @Override
    publicvoidonStateChange(ZegoAvatarServiceStatestate) {
        if (state==ZegoAvatarServiceState.InitSucceed) {
            Log.i("ZegoAvatar", "Init success");
            // 要记得及时移除通知
            ZegoAvatarService.removeServiceObserver(this);
            if (listener!=null) listener.onInitSucced();
        }
    }
​
    privateAvatarMngr(Applicationapp) {
        mApp=app;
        initRes(app);
    }
​
    publicstaticAvatarMngrgetInstance(Applicationapp) {
        if (null==mInstance) {
            synchronized (AvatarMngr.class) {
                if (null==mInstance) {
                    mInstance=newAvatarMngr(app);
                }
            }
        }
        returnmInstance;
    }
}

以上代码完成了整个虚拟形象的创建，关键代码全部展示，如果还需要具体全部代码，直接从附件中下载即可。

5 附件

作者：RTC 程序猿Wang链接： https://juejin.cn/post/7176134976293830713
程序媛小西
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【计算机科学基础】元宇宙的最新技术、应用和挑战
星拱北辰的博客
01-04 3476
元宇宙是当下非常火的概念之一，可惜很多人对元宇宙的发展情况不甚了解，本文翻译改编自一篇综述论文，力求为大家科普元宇宙的最新技术、应用和挑战
零基础开启元宇宙 | 如何快速创建虚拟形象
RTC_SDK_220704的博客
12-12 292
元宇宙（Metaverse），是人类运用数字技术构建的，由现实世界映射或超越现实世界，可与现实世界交互的虚拟世界，具备新型社会体系的数字生活空间。可见元宇宙第一步是创建专属虚拟形象，但创建3D虚拟形象需要3D基础知识。对于大部分android开发者(包括我本人)来说没有这方面的积累。难道因此我们就难以进入元宇宙的世界吗？不，今天我们借助即构平台提供的，只要有Android基础即可进入最火的元宇宙世界！
快速构建元宇宙专属虚拟形象，实时互动超酷炫
即构开发者博客
06-29 1181
即构虚拟形象引擎（Zego Avatar）支持自定义管理人物的虚拟形象，通过默认的虚拟形象或者自定义生成的专有虚拟形象，以表情随动、声音驱动等方式与真人实时互动，可广泛应用于语聊直播、社交互动、在线培训等多种场景中。......
元宇宙场景技术实践｜实现“虚拟人”自由
ZEGO即构科技
11-08 1346
ZEGO Avatar SDK 提供了手动捏脸功能，支持用户根据自己的审美偏好，对虚拟人物形象脸部的各个部位进行细微调节（如眼睛大小、鼻子宽窄、嘴巴大小等），融合成自定义的虚拟人物形象人脸，自由定义，打造独一无二的专属形象，可广泛应用于各类游戏场景中。ZEGO Avatar SDK 提供了AI 捏脸功能，支持通过“摄像头”或者“上传图像”的方式，结合对人脸进行海量分析和训练后的 AI 算法，识别人脸特征，再以美术设计提供的虚拟形象人模为基础，生成与真人高度还原的虚拟形象。，通过前置摄像头，开始检测表情；
元宇宙场景技术实践｜虚拟直播间搭建教程
ZEGO即构科技
09-23 1759
虚拟直播场景为元宇宙社交娱乐模式下的全新直播方式，由虚拟形象替代真人出镜，可以给用户打造不一样的直播体验，本篇文章我们将学习“如何使用即构 SDK 实现虚拟直播间的搭建流程”。
元宇宙技术教程｜如何一键生成虚拟人视频
即构开发者博客
10-18 1741
如果设置了对象的为 true，SDK 会使用内置的麦克风采集模块采集声音。内置的采集模块在设备兼容性上有所欠缺，ZEGO 推荐开发者使用 Express SDK 进行音频采集，请参考自定义音频采集与渲染。开发者需要调用接口，设置自定义音频数据采集代理（需要继承实现onStart和onStop方法）。采集到音频数据后，调用接口，发送数据。如果录制视频的同时，也开起了“语音驱动”，且语音驱动也已开启“自定义音频采集”，则接口只需设置一次即可，SDK 会进行复用，无需重复设置。
最佳实践：如何从零搭建一个元宇宙派对场景
声网的博客
12-16 1283
我们怎么才能在元宇宙的场景中互相交流，在排队中推杯换盏？下面跟我们一起走进一个场景内，看看整个元宇宙是如何活起来的。
30分钟快速生成元宇宙专属虚拟人
Wing_0517的博客
12-13 687
元宇宙（Metaverse），是人类运用数字技术构建的，由现实世界映射或超越现实世界，可与现实世界交互的虚拟世界，具备新型社会体系的数字生活空间。可见元宇宙第一步是创建专属虚拟形象，但创建3D虚拟形象需要3D基础知识。对于大部分android开发者(包括我本人)来说没有这方面的积累。难道因此我们就难以进入元宇宙的世界吗？不，今天我们借助即构平台提供的，只要有Android基础即可进入最火的元宇宙世界！
元宇宙系统全面学习线路
热门推荐
保持初心 保持好奇
01-20 1万+
问题导读 1.元宇宙已经发展了多少年？ 2.元宇宙是什么？ 3.元宇宙有哪些概念? 4.元宇宙支持技术有哪些？ 5.元宇宙和VR有什么区别？ 6.元宇宙有哪些机会？ 7.元宇宙如何开发，有哪些赛道？ 元宇宙的发展跟互联网发展是非常类似的，在我们上学那会，学校、家长是反对我们上网的，因为那时候网游太容易上瘾了，包括QQ聊天，是非常新奇的。然而互联网发展到今天，我们已经离不开网络了。 元宇宙其实也是一样的，元宇宙孕育于游戏，所以让我们觉得元宇宙=游戏， 其实元宇宙是会改变各行各业的。特别是工业元宇宙将会提
2022年元宇宙虚拟人产业研究报告.pdf
06-09
2022年元宇宙虚拟人产业研究报告.pdf
元宇宙/升级版虚拟元化身开发包 Meta Avatars SDK.unitypackage
01-14
此外，Meta Avatar SDK采用了一种分布式计算架构来提升性能，也就是说VR头显仅计算和渲染用户的虚拟形象，然后通过串流的形式在VR中与其他用户同步，这将省去重复渲染其他人虚拟头像的计算任务。 细节方面，Meta ...
元宇宙与虚拟数字人.pdf
02-10
元宇宙产业发展风险 资本操纵，雏形期的元宇宙仍存在诸多不确定性，产业和市场都亟需回归理性。 舆论泡沫，非理性的舆论泡沫呼应着非理性的股市震荡。 伦理制约，如何在去中心化的框架中构建元宇宙的伦理框架共识，...
元宇宙之虚拟数字人、NFT.pdf
03-28
元宇宙之虚拟数字人、NFT虚拟数字人既落座于内容与场景中，又运行于协同方 有价的数字资产指向NFT、服务于变现环节的内容即围绕虚拟数字人虚拟分身： 1. 只需要文字稿件； 2. 虚拟分身是根据真人形象生成； 3. 音频...
元宇宙虚拟人建设解决方案.pptx
01-22
元宇宙虚拟人建设解决方案
从零实现Llama3中文版
wdn blog
05-26 836
从零实现Llama3中文版，该项目能在一台 16G RAM 的笔记本电脑上运行。
强化学习——学习笔记
qq_52302919的博客
05-27 1335
强化学习问题通常可以建模为一个马尔可夫决策过程，包括以下几个要素：1、状态集合 (State Set)：S；2、动作集合 (Action Set)：A；Ps′∣saPs′∣sa，描述在状态s下执行动作a后转移到状态s′s^′s′的概率；Rsas′Rsas′，描述在状态s 下执行动作a并转移到状态s′后获得的奖励。πa∣sπ (a∣s)πa∣s，描述智能体在状态s下选择动作a 的概率。
pytorch学习笔记5
最新发布
drarad的博客
06-02 778
前向钩子（forward hook）在模块的前向传播开始时触发，前向后钩子（forward pre-hook）在前向传播之前触发，反向钩子（backward hook）在反向传播过程中触发。总结来说，钩子提供了一种在 PyTorch 模型的执行过程中插入自定义代码的方法，使得用户可以灵活地调试、监控和扩展模型的功能。作用: 这是一个内部的 C 语言指针，指向张量在底层库（通常是 C++ 实现的 PyTorch 核心）中的具体数据结构。这些钩子可以在张量的梯度计算之前或之后执行自定义的操作。
AI开发初体验：昇腾加持，OrangePi AIpro 开发板
上周的博客
05-27 1280
因为工作需要，以及个人兴趣，本人经常购买开发板进行调试、学习，但具备AI计算的开发板，本人尚未体验过，究其原因，是因为自觉知识储备可能无法胜任AI的开发工作。然而，在体验了OrangePi AIpro 开发板之后，却大大改变了我的看法——AI时代，真的已经来临！OrangePi AIpro 开发板是香橙派联合华为精心打造的高性能 AI 开发板，其内置华为昇腾 AI 处理器，作为国产AI 芯片翘楚，实乃开发板的一大亮点！
元宇宙和虚拟现实有什么区别
06-01
元宇宙和虚拟现实是两个不同的概念。虚拟现实是指通过计算机技术模拟出的一个虚拟环境，让用户感觉自己身临其境，可以与虚拟环境进行交互。而元宇宙则是一个更加广阔的概念，它是一种包含多个虚拟现实的、可以进行...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值