腾讯开源数字人视频生成神器MuseV整合包获取和使用教程

已于 2024-05-15 23:48:26 修改
阅读量5.4k 收藏 28
点赞数 7
文章标签： 音视频
于 2024-05-15 23:42:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_17449077/article/details/138923075
版权

MuseV 是基于扩散模型的虚拟人视频生成框架，具有以下特点：

  1. 支持使用新颖的视觉条件并行去噪方案进行无限长度生成，不会再有误差累计的问题，尤其适用于固定相机位的场景。
  2. 提供了基于人物类型数据集训练的虚拟人视频生成预训练模型。 支持图像到视频、文本到图像到视频、视频到视频的生成。
  3. 兼容StableDiffusion 文图生成生态系统，包括 base_model、lora、controlnet 等。
  4. 支持多参考图像技术，包括IPAdapter、ReferenceOnly、ReferenceNet、IPAdapterFaceID。
    MuseV支持图生视频、视频生视频，可与腾讯开源的另一款AI工具MuseTalk 一起构建完整的虚拟人生成解决方案。

MuseV开源地址：https://github.com/TMElyralab/MuseV
MuseTalk开源地址：https://github.com/TMElyralab/MuseTalk
MuseV在线试用地址（需要魔法）：https://huggingface.co/spaces/AnchorFake/MuseVDemo
github上提供了源码搭建运行环境的中文和英文教程，因此本文只详细介绍整合包的获取和使用教程。

点击打开我的个人博客主页，扫码关注微信公众号回复关键词【muse】获取整合包

MuseV使用教程

获取安装包后解压，双击【01运行程序.bat】去运行
在这里插入图片描述

1. 提示词和图片生成视频（Text to Video）

运行成功后会在浏览器中打开如下界面，可以看到支持Text to Video和 Video to Video两种模式。Text to Video 各个参数含义如下图，其中输入的图像的越小生成视频的动作幅度越大，所以输入图像的宽高尽量不要设置太大，但是小的话也会导致视频分辨率降低，设置图像宽高的时候尽量去设置 img_edge_ratio，这个参数会等比例缩放图像，如果直接设置width和height比例不对的话会导致图像变形 ；另外视频的帧率也不要设置太大，因为生成的帧数最大为144，设置的越大会导致视频的时长越短，分辨率和帧率的问题可以另外通过补帧和视频高清化工具去处理。
在这里插入图片描述
可以参照我下面的设置，设置完成后点击Generate按钮等待视频生成即可，生成完成后可以点击图中的下载箭头下载到本地，也可以在Video窗口点击鼠标右键将视频另存为本地
在这里插入图片描述
生成视频效果如下：

musev-text-video

2. 提示词和图片和参考视频生成视频（Video to Video）

Video to Video 各个参数含义如下图，其中没写的与Text to Video相同，不再赘述。其中图片和参考视频要保持一致性，可以通过sd或者mj拿参考视频的第一帧通过图生图生成图片，控制条件的意思是生成的视频按照参考视频的什么条件去生成，webui中只支持dwpose_body_hand，即模仿参考视频中人物的身体和手的姿势去生成，通过命令行运行的方式可以支持多种，如何命令行运行可以去github中查看。
在这里插入图片描述
可以参照我下面的设置，设置完成后点击Generate按钮等待视频生成即可，生成完成后可以点击下载箭头下载到本地，也可以在Video窗口点击鼠标右键将视频另存为本地
在这里插入图片描述
最终生成的效果如下：

musev-video-video

点击打开我的个人博客主页，扫码关注微信公众号回复关键词【muse】获取整合包

干货教程【AI篇】| 腾讯开源数字人生成神器MuseTalk+MuseV完整整合包获取
铃灵狗的水墨书乡
05-31 3847
MuseV+MuseTalk最强数字人工具组合打包下载
干货教程【AI篇】| 腾讯开源数字人视频生成神器MuseV整合包获取和使用教程
铃灵狗的水墨书乡
05-31 2471
整合包获取，回复公众号之后下载双击即可使用
腾讯开源数字人工具AniPortrait整合包获取和使用教程
Heathens的博客
04-11 4554
最近腾讯开源了一款数字人工具，直接对标阿里的EMO，github 地址为：https://github.com/Zejun-Yang/AniPortrait由于源码运行环境搭建较为复杂，觉得麻烦的小伙伴可以跳过第一部分，直接下载我为大家准备的整合包，然后按照文章第二部分使用教程操作即可。
掀桌子级别的「数字人」开源了！
公众号：逛逛GitHub
03-06 7012
掀桌子级别的「数字人」开源了！刚刚，刚刚头部数字人公司硅基智能宣布：开源了全球 TOP 级别的模型：硅基数字人 heygem.ai并且提供下载安装包，对于不懂代码的小白也能快速上手制作自己的数字人。效果业内顶级，直接把数字人技术的门槛拉到地板。口型匹配效果流畅丝滑，业内顶级，并且开放了无限克隆能力。这是真掀桌子了，不仅思考：以后谁还会花钱买数字人？开源地址：https://github.com/G...
MuseV 虚拟人视频生成框架使用教程
XLionXxxx的博客
07-10 494
MuseV 是在 2024年3月由腾讯音乐娱乐的天琴实验室开源的虚拟人视频生成框架，专注于生成高质量的虚拟人视须和口型同步。登录到 OpenBayes 平台后，打开「公共教程」，找到「MuseV 不限时长的虚拟人视频生成 Demo」教程。等待系统分配资源完成后，已经完成实名认证的用户可以将鼠标悬停在 API 地址，出现网址之后点击进入。可以看到平台已经默认选配好了教程所需要的算力资源和镜像版本，点击「下一步：审核」。点击教程右上角的「克隆」，将教程克隆到我们自己的容器内。使用云平台：OpenBayes。
全网最强数字人大盘点，一口气看完！（整合包）
Everly_的博客
07-15 1361
感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
【AI MuseV】腾讯推出无限长度和高保真虚拟人视频生成框架
从零开始学AI的博客
03-30 2409
MuseV是基于视觉条件并行去噪的无限长度和高保真虚拟人视频生成。本项目提供了用于文本到视频和视频到视频生成的检查点，并支持多种参考图像技术。此外，MuseV还支持与Stable Diffusion生态系统兼容。
最强开源数字人，易主！！（整合包）
01-21 2650
有了这个技术，视频里的人物就像是真人一样，说话时的口型变化自然流畅，让你完全看不出是经过处理的。：它还自带各种工具，帮你处理视频和音频，比如调整帧数、检测人脸、去除瑕疵视频，一条龙服务，保证你做出来的视频效果杠杠的！你对着麦克风说话，视频里的人物就像是你的“复读机”，完美复现你的口型，是不是很有意思？LatentSync凭借其强大的功能和易用性，为视频制作、虚拟头像等多种场景提供了强大的支持，它不仅让视频人物的口型与声音完美同步，还让视频制作变得更加高效和便捷。你想让视频里的人物，嘴巴跟声音完美对上吗？
开源端口映射工具神器大集合，内网穿透飕飕快，收藏！
网络技术联盟站
02-28 480
想象一下：你在公司想远程访问家里的电脑，却发现只有内网IP；或者你和朋友想联机打游戏，却因为网络限制连不上服务器；又或者你辛辛苦苦搭了个网站，却只能自己本地欣赏……这些问题是不是听起来就很头疼？别急，内网穿透技术就是你的救星！它能帮你把内网服务“映射”到公网上，让外部设备轻松访问你局域网里的资源。而说到内网穿透，开源端口映射工具绝对是性价比之王。它们不仅免费，还安全、灵活，完全可以根据你的需求量身定制。接下来，我将带你认识一系列超实用的开源工具，告诉你它们的用法、优缺点，甚至还有安装配置的超详细步骤。
五分钟部署语音合成神器ChatTTS结合内网穿透实现远程使用详细教程
热门推荐
百锦再的博客
07-09 5万+
本篇文章就教大家如何快速地在Windows中本地部署语音合成神器ChatTTS，并且我们还可以结合Cpolar内网穿透实现公网随时随地访问ChatTTS AI语言模型。最像人声的AI来了！语音开源天花板ChatTTS火速出圈，一周就斩获20k，目前github上已经21k。这是专门为对话场景设计的语音生成模型，用于LLM助手对话任务、对话语音、视频介绍等，仅支持中英文。ChatTTS是一种基于深度学习的文本转语音技术，它可以将文本内容转化为自然流畅的人工语音。
文生图 图生视频 文生视频人工智能AI工具节选
行思理的博客
03-09 1505
关于AI文生图，文生视频，图生视频，数字人的人工智能AI软件，如工具Midjourney、Stable Diffusion、通义万相、即梦AI、飞影数字人、剪映、腾讯智影、讯飞智作
Muse v2.7.rar
01-24
Muse v2.7.rar
腾讯开源的实时数字人项目musetalk,自带循环剪辑，可全身，生成质量很不错！
最新发布
2401_84494441的博客
03-23 770
MuseTalk 是一个由腾讯音乐娱乐 Lyra 实验室开发的开源项目，专注于实时高质量唇同步（lip synchronization）技术，旨在为数字人视频生成提供端到端的解决方案。该项目于 2024 年 4 月发布，支持多种语言的音频输入（如中文、英语和日语），并在实时性和生成质量上取得了显著突破。以下从设计初衷、技术结构和配置要求等角度详细阐述 MuseTalk 的项目背景。
音视频开发之旅（80）- AI数字人-腾讯开源AniPortrait-音频驱动的肖像动画
yabin的专栏
03-31 1423
这两天腾讯开源了其音频驱动的肖像视频的项目AniPortrait，它也实现了类似功能：音频驱动、参考视频表情动作驱动，或者通过预先生成的pose关键点视频来驱动。Reference Pose Image: 参考图像中人物姿势的一个标准表示，用于帮助系统理解参考帧中的人物姿势。在第二阶段，这些关键点将被用于生成最终的视频。7. Project: 将复杂的3D面部数据转换为2D平面上的点集，为下一步的视频生成做准备。Denoising Unet:用于去除编码的潜在表示中的噪声，确保生成的图像尽可能清晰。
【大模型系列篇】数字人音唇同步模型——腾讯开源MuseTalk
木亦汐丫
01-14 2225
之前有一期我们体验了阿里开源的半身数字人项目EchoMimicV2，感兴趣的小伙伴可跳转至《AI半身数字人开箱体验——开源项目EchoMimicV2》，今天带大家来体验腾讯开源的数字人音唇同步模型MuseTalk。MuseTalk是一个实时高品质音频驱动的唇形同步模型，是在ft-mse-vae的潜在空间中进行训练，该模型：能够根据输入的音频修改未知的面部动作，面部区域大小为256 x 256。支持中文、英文和日文等多种语言的音频。
数字人整合包集合，第六个最好用，附免费下载链接
Everly_的博客
07-17 1788
感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
EchoMimic数字人让图片说话本地运行整合包
风云无忌的博客
07-14 2350
EchoMimic是阿里巴巴达摩院推出的一个AI驱动的口型同步技术项目。这项技术能够通过给定的音频和一张或多张人物的面部照片，生成一个看起来像是在说话的视频，其中的人物口型动作与音频中的语音完美匹配。这种技术在娱乐、教育、虚拟现实、在线会议等领域有广泛的应用前景，可以用于创建更加真实和互动的视频内容。
【AI数字人】AniPortrait音频驱动图片数字人本地离线整合包
嘟嘟的博客
04-29 2652
今天分享的项目是由华为和腾讯的研究人员联手开发的AniPortrait，只需一段音频和一个静态的肖像图像，就能生成一段数字人视频。支持音频生成视频、视频生成视频。我已经将项目打包，离线解压即可使用！（整合包在文章末尾自取）
教你用SadTalker一键整合包轻松制作专属数字人
dfBeautifulLive的博客
01-10 6198
首先我们准备图片，可以真人，动漫都可以，最好是正面头像，（测试后最好是咧嘴微笑的照片口型更自然，紧闭双唇嘴部运动效果不明显，）有些图片效果不好，可以多换些图片，有的效果很好，然后图片可以是SD生成图片，也可以你本人照片，或者网图。先说下我的显卡，大家参考下，我的显卡是6G，10秒内的音频转换数字人需要一分钟左右，我的显卡就不能选择高清了，选择高清就卡的不行。语音准备，我是在在线的文本转语音工具，这个工具还蛮不错的，不用登录什么的，可以直接使用，界面如下，full：保留全身，全身照生成视频。
Android 帮我生成一份集成腾讯云 实时音视频SDK包含UI的Demo
06-10
好的，以下是基于腾讯云实时音视频SDK的Demo，包含UI界面： 1. 首先，你需要在腾讯云官网注册账号，开通实时音视频服务，并创建一个应用，获取到SDKAppID和密钥信息。 2. 在Android Studio中创建一个新的项目，并在app/build.gradle文件中添加依赖： ``` dependencies { implementation 'com.tencent.liteav:liteav:latest_version' } ``` 其中，latest_version为实时音视频SDK的最新版本号。 3. 在MainActivity中添加以下代码，初始化腾讯云实时音视频SDK： ``` public class MainActivity extends AppCompatActivity { private static final String TAG = "MainActivity"; private TXLivePlayer mPlayer; private TXLivePusher mPusher; private TXCloudProxy mCloudProxy; private String mSdkAppId = "YOUR_SDK_APP_ID"; private String mUserId = "YOUR_USER_ID"; private String mUserSig = "YOUR_USER_SIG"; @Override protected void onCreate(Bundle savedInstanceState) { super.onCreate(savedInstanceState); setContentView(R.layout.activity_main); // 初始化SDK TXLiveBase.getInstance().setLicence(this, "YOUR_LICENCE_URL", "YOUR_LICENCE_KEY"); TXLiveBase.getInstance().setConsoleEnabled(true); mPlayer = new TXLivePlayer(this); mPusher = new TXLivePusher(this); mCloudProxy = new TXCloudProxy(this, mSdkAppId, mUserId, mUserSig); // 设置播放器和推流器的配置 TXLivePlayConfig playConfig = new TXLivePlayConfig(); playConfig.setAutoAdjustCacheTime(true); playConfig.setMaxAutoAdjustCacheTime(5); mPlayer.setConfig(playConfig); TXLivePushConfig pushConfig = new TXLivePushConfig(); pushConfig.setVideoFPS(15); pushConfig.setVideoBitrate(800); pushConfig.setVideoResolution(TXLiveConstants.VIDEO_RESOLUTION_TYPE_360_640); pushConfig.setAudioSampleRate(TXLiveConstants.AUDIO_SAMPLE_RATE_48000); mPusher.setConfig(pushConfig); // 开始预览 TXCloudView cloudView = findViewById(R.id.cloud_view); mPusher.startCameraPreview(cloudView); } @Override protected void onDestroy() { super.onDestroy(); // 释放资源 mPlayer.stopPlay(true); mPlayer = null; mPusher.stopCameraPreview(true); mPusher.stopPusher(); mPusher = null; mCloudProxy.logout(); mCloudProxy = null; } } ``` 在上面的代码中，我们使用TXLivePlayer和TXLivePusher来进行播放和推流操作，使用TXCloudProxy来进行用户登录和注销操作。你需要将YOUR_SDK_APP_ID、YOUR_USER_ID和YOUR_USER_SIG替换为你自己的SDKAppID和密钥信息。你还需要在腾讯云官网获取到有效的licence_url和licence_key，并将其替换到上面的代码中。 4. 在布局文件中添加一个TXCloudView，用于预览摄像头的画面： ``` <com.tencent.rtmp.TXCloudView android:id="@+id/cloud_view" android:layout_width="match_parent" android:layout_height="match_parent" /> ``` 5. 运行应用，你将看到摄像头的预览画面。你可以使用TXLivePlayer来播放实时音视频流，使用TXLivePusher来进行推流操作。 以上就是一个基于腾讯云实时音视频SDK的Demo，包含UI界面的实现方式。如果你需要更多的功能，可以参考腾讯云官方文档或在官方论坛中寻求帮助。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Heathens666

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值