如何在算家云搭建模型Linly-Talker（数字人文本配音）

于 2024-08-22 16:29:53 发布
阅读量606 收藏 9
点赞数 13
分类专栏： 如何在算家云搭建模型 文章标签： 深度学习 机器学习 人工智能 计算机视觉 语音识别 AIGC pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SJJS_1/article/details/141431626
版权

一、模型介绍

Linly-Talker 是一款集成了多种人工智能技术的数字人对话系统，集成了各种技术,例如 Whisper、Linly、微软语音服务和 SadTalker 会说话的生成系统。该系统部署在 Gradio 上，用户可通过上传图像与 AI 助手进行互动，可以根据自己的喜好进行自由的对话或内容生成。Linly-Talker通过多模型集成、多轮对话能力、语音克隆技术、实时互动和视觉增强，为用户提供了一种全新的交互体验。

二、 模型搭建流程

基础环境最低要求说明：

环境名称版本信息1
Ubuntu22.04.4 LTS
CudaV12.1.105
Python3.10.8
NVIDIA CorporationRTX 3090

1. 根据需求选择主机和镜像，一键创建实例

租用实例 --》一键使用 --》GPU 数量选择 1 张 RTX 3090 或者 2 张 RTX 3060 --》应用社区 --》Linly-Talker，即可在平台创建实例。

(1) 选择 GPU 数量为 1 张 RTX 3090 的方法

image.png

（2）选择 GPU 数量为 2 张 RTX 3060 的方法image.png
（3） 进入应用社区，选择 Linly-Talker 大模型的方法

image.png

2. 点击“项目实例”进入创建的实例，点击“Web SSH”

image.png

3. 进入网页端命令行

image.png

4. 启动 web 页面

# 切换到 Linly-Talker 项目目录中
cd Linly-Talker

# 激活 linly_talker 的虚拟环境
conda activate linly_talker

# 运行 webui.py 文件
python webui.py

image.png

5. 获取端口号

image.png

image.png

6. 进入 web 页面

将获取到的链接复制到本地浏览器：

# 比如当前获取的地址如下：
http://xn-a.suanjiayun.com:30493

image.png

算家云
关注
专栏目录
博客
如何在算家云搭建GFP-GAN（图像生成）
11-01 244
GFP-GAN是腾讯在人像复原、超分等方面的佳作 ，其基于 FFHQ 上训练，由 70000 张高质量图像组成。在训练过程中，将所有图像的大小调整为5122，可用于真实世界面部高清修复。本文介绍了在算家云搭建该模型的详细方法和步骤，以便广大用户能在算家云快速搭建GFP-GAN。
博客
MUSICGEN容器构建指南
11-01 538
MUSICGEN基于深度学习算法和人工智能技术，特别是 Transformer 模型。它能够并行处理音频数据，提高生成速度和质量。 本文详细介绍了如何实现该模型的本地部署。
博客
如何在算家云搭建champ（视频生成）
10-31 292
champ 是由阿里巴巴、复旦大学和南京大学的研究人员共同提出的一种基于 3D 的将人物图片转换为视频动画的模型，该方法结合了 3D 参数化模型(特别是 SMPL 模型)和潜在扩散模型，能够精确地捕捉和再现人体的 3D 形状和动态，同时保持动画的时间一致性和视觉真实性，以生成高质量的人类动画视频。本文介绍了在算家云搭建该模型的详细方法和步骤，以便广大用户能在算家云快速搭建champ。
博客
Rembg模型构建教程
10-31 184
Rembg，全称为“Remove Background”，是一款基于深度学习的图像背景去除工具。它的主要功能是通过智能识别图像中的前景物体，并将其从背景中分离出来，从而创建具有透明背景的图像。
博客
如何在算家云搭建Llama3-Factory（智能对话）
10-30 440
Llama3 通过深度学习技术，特别是基于 Transformer 架构的预训练模型，实现了对自然语言的高度理解和生成能力。它利用了海量的文本数据进行训练，从而能够捕获语言的复杂模式和规律，并在各种自然语言处理任务中展现出卓越的性能。本文介绍了在算家云搭建该模型的详细方法和步骤，以便广大用户能在算家云快速搭建 Llama3-Factory 。
博客
ComfyUI-sd3.5模型部署指南
10-30 1068
stability.ai终于在10月22号又推出了 Stable Diffusion的升级版本，SD模型3.5。此开放版本包括多个模型变体，包括 Stable Diffusion 3.5 Large 和 Stable Diffusion 3.5 Large Turbo。本文将详细介绍如何实现该模型的本地部署。
博客
如何在算家云搭建ComfyUI-sd3.5（AI绘画）
10-29 632
stability.ai 在 10 月 22 号推出了 Stable Diffusion 3.5 版本。此开放版本包括多个模型变体。Stable Diffusion 3.5 Large具有 80 亿个参数，具有卓越的质量和提示词依从性。Stable Diffusion 3.5 Large Turbo只需 4 个步骤即可快速生成具有出色的高质量图像。本文介绍了在算家云搭建该模型的详细方法和步骤，以便广大用户能在算家云快速搭建 Stable Diffusion 3.5 。
博客
ControlNext-SVD模型部署教程
10-29 669
ControlNeXt-SVD模型是通过添加 ControlNet 来控制Stable Video Diffusion (SVD)，使用高分辨率视频训练，具体来说它可以将图片生成与指定姿态相匹配的高质量视频。本文详细介绍了如何实现该模型的本地部署。
博客
IMAGDressing模型部署教程
10-28 937
IMAGDressing-v1 可以生成逼真的服装，并方便用户轻松进行场景编辑。本文将详细介绍如何实现该模型的本地部署。
博客
如何在算家云搭建LongWriter（长文创作）
10-28 425
LongWriter可以一次生成 10,000 多个单词。这一突破性成果得益于其增强的模型架构和训练方法，适用于需要生成长篇小说、学术论文、产品白皮书等长篇幅文本的任务。本文介绍了在算家云搭建该模型的详细方法和步骤，以便广大用户能在算家云快速搭建LongWriter 。
博客
如何在算家云搭建Cinemo（视频生成）
10-25 340
Cinemo 模型由来自莫纳什大学、上海 AI Lab 和南京邮电大学的研究团队提出，旨在实现更好的运动可控性以及更强的时间一致性和流畅性。该模型通过新颖的图像动画方法，解决了在将静态图像转换为动态视频时保持时空一致性和叙事流畅性的挑战。本文介绍了在算家云搭建该模型的详细方法和步骤，以便广大用户能在算家云快速搭建Cinemo 。
博客
BRIA-RMBG-1.4容器构建指南
10-25 695
BRIA-RMBG-1.4 是 BRIA AI 公司开发的一款先进的背景去除模型，旨在高效、准确地从各种类别和类型的图像中分离前景和背景。本文将介绍如何一步步实现在本地部署该模型。
博客
Peach-9B-8k-Roleplay模型部署指南
10-24 497
Peach-9B-8k-Roleplay 是一种聊天大型语言模型，它是通过我们的数据合成方法创建的超过 100K 的对话中微调 01-ai/Yi-1.5-9B模型而获得的。也许是 34B 以下参数最好的 LLM。
博客
如何在算家云搭建ControlNext-SVD（视频生成）
10-24 322
ControlNext-SVD-V2 是 ControlNext-SVD 的 V2 模型。其中 ControlNext-SVD 模型是通过添加 ControlNet 来控制 Stable Video Diffusion (SVD)，使用高分辨率视频训练，具体来说它可以将图片生成与指定姿态相匹配的高质量视频。本文介绍了在算家云搭建该模型的详细方法和步骤，以便广大用户能在算家云快速搭建ControlNext-SVD 。
博客
如何在算家云搭建RWKV-CHN（智能对话）
10-23 293
RWKV-CHN是一款语言模型（用纯 100%RNN 达到 GPT 能力，甚至更强），该项目旨在通过为您自动化所有事情来消除使用大型语言模型的障碍。所有你 Need是一个只有几兆字节的轻量级可执行程序。此外，该项目还提供了一个接口， 兼容 OpenAI API，这意味着每个 ChatGPT 客户端都是一个 RWKV 客户端。本文介绍了在算家云搭建该模型的详细方法和步骤，以便广大用户能在算家云快速搭建RWKV-CHN。
博客
stable-zero123模型构建指南
10-23 734
Stable-Zero123 是由 stability.ai 推出的一款极具创新性的模型。它能够针对具有简单背景的物体进行三维视角图片的生成，通过巧妙地调整和变换观察视角，该模型可以精准地生成对应视角的图片，为用户带来全新的视觉体验。
博客
synctalk模型部署教程
10-22 730
SyncTalk 采用面部同步控制器将唇部运动与语音对齐，并创新地使用 3D 面部混合形状模型来捕捉准确的面部表情，头部同步稳定器优化了头部姿势，实现了更自然的头部运动。本文将介绍如何实现该模型本地部署。
博客
如何在算家云搭建GPT-SOVITS（语音转换）
10-22 667
GPT-SOVITS是一款强大的小样本语音转换和文本转语音 WebUI工具。它集成了声音伴奏分离、自动训练集分割、中文ASR和文本标注等辅助工具。本文介绍了在算家云搭建该模型的详细方法和步骤，以便广大用户能在算家云快速搭建GPT-SOVITS。
博客
CodeGeeX4模型部署教程
10-21 617
CodeGeeX4 模型系列是一个在GLM-4-9B上持续训练的多语言代码生成模型，其代码生成能力显著增强。它是目前最强大的 10B 以内参数量的代码生成模型，甚至超越了更大规模的通用模型，在推理速度和模型性能方面取得了最佳平衡。
博客
如何在算家云搭建Index-1.9B（文本生成）
10-21 475
Index-1.9B是哔哩哔哩自主研发的一款轻量级多语言大模型系列，Index-1.9B模型在轻量化的同时保持了优秀的性能,为用户提供了灵活多样的应用选择。本文介绍了在算家云搭建该模型的详细方法和步骤，以便广大用户能在算家云快速搭建Index-1.9B 。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值