数字人的未来：数字人对话系统 Linly-Talker + 克隆语音 GPT-SoVITS

已于 2024-02-25 17:21:15 修改
阅读量2.6k 收藏 39
点赞数 21
分类专栏： 👁️计算机视觉CV 文章标签： gpt 数字人 语音驱动 深度学习 人工智能
于 2024-02-25 17:21:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45508265/article/details/136284743
版权
文章介绍了Linly-Talker对话系统的新功能，包括与GeminiPro和Qwen大模型集成，支持图片上传、多轮对话、WebUI更新和语音克隆技术（GPT-SoVITS），提升了数字人的真实感和交互性。作者还提到其他开源项目如OpenVoice和XTTS的比较，强调GPT-SoVITS在语音克隆方面的优势。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

🚀数字人的未来：数字人对话系统 Linly-Talker + 克隆语音 GPT-SoVITS

https://github.com/Kedreamix/Linly-Talker

2023.12 更新 📆

用户可以上传任意图片进行对话

2024.01 更新 📆

  • 令人兴奋的消息！我现在已经将强大的GeminiPro和Qwen大模型融入到我们的对话场景中。用户现在可以在对话中上传任何图片，为我们的互动增添了全新的层面。
  • 更新了FastAPI的部署调用方法。
  • 更新了微软TTS的高级设置选项，增加声音种类的多样性，以及加入视频字幕加强可视化。
    • 更新了GPT多轮对话系统，使得对话有上下文联系，提高数字人的交互性和真实感。

2024.02 更新 📆

  • 更新了Gradio的版本为最新版本4.16.0，使得界面拥有更多的功能，比如可以摄像头拍摄图片构建数字人等。
  • 更新了ASR和THG，其中ASR加入了阿里的FunASR，具体更快的速度；THG部分加入了Wav2Lip模型，ER-NeRF在准备中(Comming Soon)。
  • 加入了语音克隆方法GPT-SoVITS模型，能够通过微调一分钟对应人的语料进行克隆，效果还是相当不错的，值得推荐。
  • 集成一个WebUI界面，能够更好的运行Linly-Talker。

在最近一段时间，我在尝试探索，如何克隆声音，因为在数字人对话系统中，虽然可能能够重建特定的人，但是还是存在一个问题：声音是用固定的人声生成的，导致没有真实性，如果我们能够去克隆出对应的声音，并且结合特定的数字人，那是否就完成了一个数字人的完整复刻。

于是我就研究了一段时间，后面发现了两个非常有意思的项目，分别是GPT-SoVITS和XTTS两个开源项目，我认为这两个算是现在最好的两个开源项目了，像OpenVoice之类的效果还是比较差，火山效果不错，但是没有开源。

除此之外，我后续集成到了Linly-Talker之中，

最低0.47元/天 解锁文章
Linly-Talker智能数字人实时对话系统如何部署体验
本博客，博文仅代表个人操作经验，不能完全解决你的问题，仅供参考，佛系回复。
03-12 2058
阿里的 FunASR 的语音识别效果也是相当不错，而且时间也是比 whisper 更快的，更能达到实时的效果，所以也将 FunASR 添加进去了，在 ASR 文件夹下的 FunASR 文件里可以进行体验，需要注意的是，在第一次运行的时候，需要安装以下库，参考 https://github.com/alibaba-damo-academy/FunASR。下载 Linly 模型:https://huggingface.co/Linly-AI/Chinese-LLaMA-2-7B-hf。nltk_data放在。
GPT-SoVITS 快速声音克隆使用案例：webui、api接口
weixin_42357472的博客
02-23 2608
参考： https://github.com/RVC-Boss/GPT-SoVITS环境： Python 3.10 PyTorch 2.1.2, CUDA 12.0 安装包： 1）下载项目 2）下载预训练模型 https://huggingface.co/lj1995/GPT-SoVITS 下载模型文件放到GPT-SoVITS/GPT-SoVITS/pretrained_models/ 下 3）项目GPT-SoVITS文件下运行 进入这页面点击开启tts推理ui，后台会新启动一个页面9872的端口页面9
全新推出：Linly-Talker数字化人物对话系统
步子哥的博客
12-27 1627
准备好体验颠覆性的人机交互方式了吗？不用再等了！Linly-Talker正式登场，将彻底改变我们与人工智能系统的互动方式。🤖💬Linly-Talker是一款智能AI系统，它将大型语言模型（LLMs）与视觉模型相结合，创造了一种独特的对话体验。通过集成Whisper、Linly、微软语音服务和SadTalker说话头部生成系统等多种技术，Linly-Talker汇集了最佳的特点。🌍🔍。
Linly-Talker：开源数字人框架的技术解析与影响
萧鼎的博客
03-12 1571
Linly-Talker 作为一个开源的 AI 数字人框架，为 AI 时代的虚拟人技术提供了一种高质量、低门槛的解决方案。技术迅速发展，从最早的 2D 虚拟主播，到如今能够进行实时交互的 3D 智能助手，AI 在多模态交互领域的应用愈发广泛。各大互联网公司纷纷布局 AI 数字人，如百度的「度晓晓」、字节跳动的虚拟主播、腾讯的 AI 数字人等，均展现了 AI 在人机交互领域的巨大潜力。推出的一个开源数字人框架，它整合了语音合成、口型同步、表情动画等多项 AI 技术，能够生成。
探索未来交互：Linly-Talker数字人智能对话系统
gitblog_00197的博客
08-09 655
探索未来交互：Linly-Talker数字人智能对话系统 Linly-Talker项目地址:https://gitcode.com/gh_mirrors/li/Linly-Talker 在人工智能的浪潮中，Linly-Talker数字人智能对话系统以其独特的技术集成和创新的应用场景，正引领着人机交互的新纪元。本文将深入介绍Linly-Talker的核心技术、应用场景及其独特之处，带您一窥未来交互...
探索元宇宙的未来：数字人对话系统 - Linly-Talker —— “数字人交互，与虚拟的自己互动”
风信子的猫Redamancy的快乐星球
01-27 1580
最后说一下我想做什么吧，其实我一直把这个数字对话系统趋于实时化，最近也看到相关的项目有做音频和视频流式的东西，我也在不断的学习中，希望也不断的学习，不断的超越自己。最后也提一下，我做了一个个人博客，后续也会放出来我博客的笔记，和知乎同步更新应该哈哈，大家也可以多关注一下，一起学习交流。Kedreamix：“数字人交互，与虚拟的自己互动”——用PaddleAvatar打造数字分身，探索人机交互的未来2 赞同 · 3 评论文章。
数字人对话系统 Linly-Talker
风信子的猫Redamancy的快乐星球
12-07 1979
Linly-Talker是一个将大型语言模型与视觉模型相结合的智能AI系统,创建了一种全新的人机交互方式。它集成了各种技术,例如Whisper、Linly、微软语音服务和SadTalker会说话的生成系统。该系统部署在Gradio上,允许用户通过提供图像与AI助手进行交谈。用户可以根据自己的喜好进行自由的对话或内容生成。
数字人对话系统 Linly-Talker（已加入Qwen和GeminiPro加强对话+上传任意图片的数字人）
风信子的猫Redamancy的快乐星球
01-04 1659
Linly-Talker是一个将大型语言模型与视觉模型相结合的智能AI系统,创建了一种全新的人机交互方式。它集成了各种技术,例如Whisper、Linly、微软语音服务和SadTalker会说话的生成系统。该系统部署在Gradio上,允许用户通过提供图像与AI助手进行交谈。用户可以根据自己的喜好进行自由的对话或内容生成。
GPU算力平台|在GPU算力平台部署Linly-Talker 数字人对话应用教程
微学AI的博客
01-12 1727
GPU算力平台就像是一个专门为GPU加速计算打造的云端“超级加油站”，属于软件和信息技术服务领域。它为用户提供了强大的、可灵活扩展的GPU算力，广泛应用于机器学习、人工智能以及视觉特效渲染等高科技领域。这个平台的最大亮点在于其高度的灵活性和定制化能力，可以根据不同的工作负载需求精准配置计算资源。无论是最新的NVIDIA RTX 4090、RTX 3090，还是高性能的A100和A800 GPU，都能在这里找到，满足各种复杂场景下的计算需求。
探索Linly-Talker：一个创新的文本转语音工具
gitblog_00089的博客
04-26 610
探索Linly-Talker：一个创新的文本转语音工具 Linly-Talker项目地址:https://gitcode.com/gh_mirrors/li/Linly-Talker 项目简介 是一款开源的文本转语音（TTS）工具，由Kedreamix开发并维护。该项目的目标是为用户提供简单、高效的文本转语音服务，无论你是开发者想要为应用添加语音功能，还是内容创作者寻求个性化的声音输出，Linl...
Anaconda部署Linly-Talker数字人对话系统
kuun993的博客
03-01 1094
Linly-Talker是一个将大型语言模型与视觉模型相结合的智能AI系统,创建了一种全新的人机交互方式。
基于深度学习的TTS和ASR.zip
02-26
零样本文本到语音（TTS）： 输入 5 秒的声音样本，即刻体验文本到语音转换。 少样本 TTS： 仅需 1 分钟的训练数据即可微调模型，提升声音相似度和真实感。 跨语言支持： 支持与训练数据集不同语言的推理，目前支持英语、日语和中文。 WebUI 工具： 集成工具包括声音伴奏分离、自动训练集分割、中文自动语音识别(ASR)和文本标注，协助初学者创建训练数据集和 GPT/SoVITS 模型。
Linly-Talker容器构建
SJJS_1的博客
08-08 1204
Linly-Talker 是一款集成了多种人工智能技术的数字人对话系统，它通过多模型集成、多轮对话能力、语音克隆技术、实时互动和视觉增强，为用户提供了一种全新的交互体验。
如何在算家云搭建模型Linly-Talker（数字人文本配音）
SJJS_1的博客
08-22 799
Linly-Talker（数字人文本配音）是一款集成了多种人工智能技术的数字人对话系统，通过多模型集成、多轮对话能力、语音克隆技术、实时互动和视觉增强，为用户提供了一种全新的交互体验。
深入解析数字人Web UI推理：技术原理与实现
dsdxsd12138的博客
07-25 959
随着Web技术的不断进步，数字人现在可以通过Web UI与用户进行实时互动，为用户提供更加丰富和直观的体验。数字人Web UI推理技术的发展，不仅推动了人工智能领域的技术进步，也为用户带来了前所未有的交互体验。随着技术的不断完善和应用场景的拓展，数字人Web UI推理将在未来扮演更加重要的角色，成为智能交互的新标杆。在人工智能的浪潮中，数字人技术以其独特的交互性和逼真性，成为创新的前沿。3. 市场机遇：随着技术的成熟和用户接受度的提高，数字人Web UI推理在多个行业具有巨大的市场潜力。
GPT-SoVITS教程,接入酒馆AI,SillyTavern-1.11.5,让AI女友声若幽兰
刘悦的技术博客
03-26 3822
本次分享一下如何将GPT-SoVITS接入SillyTavern-1.11.5项目，让让AI女友声若幽兰，首先明确一下，SillyTavern-1.11.5只是一个前端项目，它没有任何大模型文本生成能力，所以后端必须有一个api服务来流式生成对话文本，这里选择koboldcpp。
Python让AI虚拟主播接入微软Azure语音合成并精准嘴型同步
softboy安卓软件
04-11 6528
上一篇文字中讲了利用Python实现利用微软Azure无限免费将文本转mp3格式的音频文件并下载到本地。微软Azure TTS的优点不用多说，今天将讲如何利用Python将其接入到虚拟主播中来。 订阅专栏，我将免费向您提供具体的方案。 看过专栏其他文章的朋友，一定知道，我们使用的虚拟主播软件为Motionface，其支持一些简单好用的接口。我们先看看Motionface的效果： 我们看到了其要求是需要wav格式的音频来驱动嘴型同步,但是微软Azure语音合成为mp3格式，这时，我们需要将mp3音频
请问如何实现linly-talker的本地化部署，我的服务器是openeuler 24.03 LTS SP1系统，cuda1.28环境
最新发布
03-25
<think>好的，我现在需要帮助用户解决在OpenEuler 24.03 LTS SP1系统上部署Linly-Talker项目的问题，同时适配CUDA 1.28环境。首先，我得仔细分析用户的需求和提供的引用资料，确保解决方案的准确性。 首先，用户提到的OpenEuler 24.03 LTS SP1是一个较新的Linux发行版，可能使用较新的内核和库版本。而CUDA 1.28可能是指CUDA Toolkit 12.8，不过通常CUDA版本是像11.3、11.8、12.1这样的版本号，所以这里可能存在笔误。比如，用户可能是指CUDA 12.8，但需要确认是否该版本存在。目前最新的稳定版本是CUDA 12.5，因此可能需要进一步澄清。不过，假设用户确实需要CUDA 12.8或类似的版本，可能需要处理驱动和兼容性问题。 接下来，参考用户提供的引用，特别是引用[2]中的安装步骤，其中提到了安装PyTorch 1.12.1，对应CUDA 11.3。但用户现在需要适配CUDA 1.28（假设是12.8），所以需要考虑PyTorch版本是否支持该CUDA版本。例如，PyTorch 2.x可能支持CUDA 12.x。因此，可能需要调整PyTorch的安装命令，以匹配CUDA 12.8环境。 此外，OpenEuler系统可能使用dnf作为包管理器，而项目原来的安装步骤是基于Anaconda和conda的环境创建。需要确保在OpenEuler上安装必要的依赖库，比如ffmpeg、CUDA驱动、cuDNN等，并且这些库的版本与CUDA 12.8兼容。可能需要进行源码编译安装某些依赖项，特别是如果OpenEuler的官方仓库中没有预编译的包。 另一个考虑点是系统内核和驱动版本是否兼容CUDA 12.8。需要检查NVIDIA官方文档，确认OpenEuler 24.03的内核版本是否被支持，并安装相应的NVIDIA驱动。如果驱动不支持，可能需要升级内核或寻找其他解决方法。 此外，项目依赖的其他组件，如Whisper模型，可能需要特定的Python库版本，这些库在CUDA 12.8下的兼容性也需要验证。可能需要调整requirements_app.txt中的依赖版本，或手动安装某些库的兼容版本。 最后，部署过程中可能会遇到环境变量配置、权限问题、路径设置等问题，需要逐步排查。例如，设置LD_LIBRARY_PATH以包含CUDA库路径，确保conda环境中正确识别GPU等。 总结下来，步骤可能包括： 1. 确认CUDA版本的正确性，安装对应的NVIDIA驱动。 2. 创建conda环境，安装适配CUDA 12.8的PyTorch版本。 3. 安装系统依赖，如ffmpeg，可能需要源码编译。 4. 调整项目依赖的Python包版本，解决兼容性问题。 5. 处理可能出现的库路径和权限问题，确保项目运行环境正确配置。</think>### Linly-Talker在OpenEuler 24.03 LTS SP1的本地化部署方法 #### 一、环境准备 1. **系统兼容性验证** OpenEuler 24.03 LTS SP1默认使用Linux 6.x内核，需确保NVIDIA驱动版本≥535.129.03以支持CUDA 12.8[^4]。 ```bash nvidia-smi # 验证驱动版本 ``` 2. **CUDA 12.8环境配置** - 从NVIDIA官网下载CUDA 12.8安装包 - 安装完成后验证环境变量： ```bash echo $PATH | grep cuda-12.8 # 检查CUDA路径 nvcc --version # 确认CUDA编译器版本 ``` #### 二、依赖安装与适配 1. **创建Conda虚拟环境** ```bash conda create -n linly_oepnuler python=3.10 conda activate linly_oepnuler ``` 2. **PyTorch版本调整** 原项目使用CUDA 11.3对应的PyTorch 1.12.1，需替换为支持CUDA 12.8的版本： ```bash conda install pytorch==2.1.0 torchvision==0.16.0 torchaudio==0.13.0 pytorch-cuda=12.1 -c pytorch -c nvidia ``` 3. **系统级依赖编译** OpenEuler需手动编译安装部分依赖： ```bash sudo dnf install ffmpeg-devel libsndfile-devel git clone https://gitcode.com/gh_mirrors/li/Linly-Talker.git cd Linly-Talker pip install -r requirements_app.txt --no-cache-dir # 强制重新编译二进制扩展 ``` #### 三、兼容性修复 1. **CUDA算子适配** 若出现`CUDA kernel failed`错误，需修改`torch.utils.cpp_extension`加载参数： ```python # 在涉及CUDA扩展的代码中添加 torch.utils.cpp_extension.load(..., extra_cuda_cflags=["-O3", "--use_fast_math"]) ``` 2. **动态库路径配置** 在`~/.bashrc`中添加： ```bash export LD_LIBRARY_PATH=/usr/local/cuda-12.8/lib64:$LD_LIBRARY_PATH ``` #### 四、部署验证 ```bash python app.py --cuda_id 0 # 指定GPU运行 ``` 若输出`Successfully initialized CUDA context`则表示部署成功[^3]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

风信子的猫Redamancy

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值