RVC克隆自己的声音并令其唱歌

已于 2024-01-11 10:36:07 修改
阅读量3.4k 收藏 16
点赞数 10
文章标签： rvc
于 2024-01-08 14:16:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41569151/article/details/135455328
版权

克隆自己的声音并令其唱歌

准备工作

  1. 浏览器
  2. 声音文件，建议5分钟左右的清晰说话声音
  3. autodl 网站（https://www.autodl.com/console/instance/list）上充个两块钱

正式开始

  1. 在autodl上租用实例，这里以3080ti为例，镜像在社区镜像中搜索rvc，选择v3版本即可请添加图片描述

  2. 将镜像的详情页也打开，等会要用，也可以看看其介绍（https://www.codewithgpu.com/i/RVC-Project/Retrieval-based-Voice-Conversion-WebUI/RVC_WebUI）

  3. 机器创建完成后可以看见实例列表，点autopanel上方的jupyterlab

  4. 再打开刚才的镜像详情页拷贝启动代码，看到端口号就是启动成功了

cd /root/Retrieval-based-Voice-Conversion-WebUI && python infer-web.py --port 6006

  1. 在左侧菜单树里新建一个文件夹，这里以新建/imoo文件夹为例，接着将你的声音文件放到这个文件夹下
    请添加图片描述

  2. 回到实例列表，点击jupyterlab的自定义服务
    在这里插入图片描述

  3. 进入训练页面，填写必要信息
    在这里插入图片描述

  • 实验名：一会你生成的声音文件的名字
  • 文件夹路径：/root/你刚才下载文件的地方，默认是 /root/auto-tmp
  • 训练轮数：20够用，追求更好效果就开大点

  1. 点击开始训练，就会开始跑了，可以回到刚才的jupyterlab查看具体日志
    在这里插入图片描述

  2. 训练完成后，你可以在jupyterlab的/Retrieval-based-Voice-Conversion-WebUI/weights/找到训练结果，尾缀为.pth，这就是你的声音文件，将其下载到本地
    在这里插入图片描述

  3. 在 https://www.weights.gg/zh/create 上传自己的声音文件后，即可使用声音文件唱歌或说话，如果不想排队可以下载专门的软件Replay，网址是 https://www.tryreplay.io/，不过它内部下载很慢

iimo
关注
举世无双语音合成系统 VITS 发展历程（2024.3 PAVITS）
u013250861的博客
04-28 627
简介：一个快速和强大的zero-shot语音合成器的文本到语音（TTS）和语音转换（VC）；对于文本到语音，采用了文本到向量框架，生成文本表示和韵律提示，文本表示由一个自监督的语音表示和F0表示组成。论文：Lightweight and High-Fidelity End-to-End Text-to-Speech with Multi-Band Generation and Inverse Short-Time Fourier Transform。可以利用自我监督的语音来适应新的说话人而没有标注。
不用开口也能当歌星？AI声音克隆新玩法来啦！
最新发布
xfour_free_world的博客
03-09 4049
你是否幻想过用自己的声音翻唱偶像的歌？或让AI为你生成专属单曲？现在，只需几步操作就能实现！今天教你用训练个人声音模型，轻松制作AI翻唱。🎤—-：Weights（免费在线工具，无需代码）1️⃣：录制一段清晰人声，3分钟以上。建议像我一样，读本书，轻松超过3分钟。2️⃣：登录Weights官网，上传音频，选择“训练并保密”，系统自动解析并训练声音特征（约10分钟）。3️⃣：试着听听训练后的样本，像不像你的声音呢！📌：朗诵诗歌或读新闻稿效果更佳，避免背景杂音哦～—-1️⃣。
RVC声音克隆，AI翻唱，音频处理，批量处理(WIN/MAC)
嘟嘟的博客
10-28 2851
RVC声音克隆，AI翻唱，音频处理，批量处理
RVC-TTS-WebUI: 基于RVC和Edge-TTS的文本转语音Gradio界面
helloaiworld的博客
10-22 1532
RVC-TTS-WebUI代表了当前文本转语音技术的一个重要发展方向。它不仅融合了先进的语音合成和转换技术，还通过简洁的Web界面使这些复杂的技术变得触手可及。无论您是技术爱好者、开发者，还是有语音合成需求的用户，RVC-TTS-WebUI都值得一试。随着项目的不断发展和社区的积极贡献，我们有理由相信，RVC-TTS-WebUI将在未来的语音技术领域扮演更加重要的角色。通过探索和使用RVC-TTS-WebUI，我们不仅能够体验最新的语音合成技术，还能为未来更多创新应用的诞生贡献一份力量。
[Windows] RVC WebUI v1228 （AI歌曲翻唱工具）
专注于全栈开发领域
04-02 1750
RVC 是一款前沿的音色替换项目，可以进行歌曲的翻唱和实时的变声，具有低延迟、优秀的变声效果、声音模型扩展性、个性化和先进的深度学习技术等特点。 该项目的核心功能之一是有更高的自由性和声音模型扩展性，可以对任意动漫角色和人物进行实时的声音转换，前提是进行训练声音模型。这为用户提供了极大的自由度和创新空间。,这种声音模型的转换是通过深度学习实现的，可以通过简单的设置和选择输入输出，将自己的声音转换成不同的声音音色，从而实现声音的个性化和可玩性。
声音克隆全套工具来啦！不管是唱歌还是说话，统统拿下！
jingtian2024的博客
12-23 838
语音克隆是一项利用AI生成与目标语音高度相似的合成语音技术，通过输入一段语音样本，快速生成自然流畅的语音输出。它广泛应用于个性化语音助手、影视配音、教育培训和品牌音频等领域，同时也需注意隐私与伦理问题。技术强大且潜力巨大，但需要规范使用以避免滥用风险。
Python进行AI声音克隆的端到端教程
xzz_777c的博客
02-27 1691
SO-VITS-SVC（基于扩散模型和变分自动编码器的歌声转换系统）是一个强大的工具，用于实现实时歌声转换。通过结合了扩散模型、变分自动编码器和生成对抗网络等技术，SO-VITS-SVC系统能够捕捉歌声的细微差别，并产生高质量的合成歌声。SO-VITS-SVC系统是一个功能强大且灵活的歌声转换工具，可以应用于多种场景，包括音乐制作、语音合成、语音转换等领域，为用户提供了实现个性化歌声转换的便利和可能。
RVC-AI声音克隆-你的声音不再是唯一
心动的那一刻，记忆便盛开了花
07-30 2946
是一个基于Hubert模型的AI语音转换工具，可以实现男女声的互换和降噪。本文将要介绍RVC的安装和使用方法。
AI音乐声音克隆实操--用海绵宝宝的声音唱歌(Replay +RVC)
weixin_40964597的博客
12-17 1230
RVC声音模型训练，及音乐声音克隆
声音模仿_模仿配音：如何模仿别人声音？
weixin_30769833的博客
01-14 2177
要模仿别人说话，最好就是要多练习;要投入，尽量想象一下说话的心情和情境，努力使自己融入到当中去，把握好心境最重要;其次就是音色了，这个就需要你去总结一下说话声音中共包括哪几种音色，并且，你想要去模仿的是属于哪个类别的，再加以练习。每个人的音色是不一样的。包括现在很多歌手能模仿像别的歌手是因为他们的音色差不多。不过你可以找找哪些歌手的声音本身就和你唱歌的声音像，你多听他们的歌曲去调节自己的喉咙发生方...
RVC：基于检索的语音克隆AI
新缸中之脑
08-23 3341
RVC（基于检索的语音转换）是一种AI驱动的语音转换器，可以学习使用大约 10 分钟的短音频样本执行高质量的语音转换。传统的语音转换器需要两组数据：自己的声音和要转换的目标声音，这带来了需要准备个人语音数据集的挑战。RVC 通过使用一种名为 HuBERT 的多功能特征提取模型克服了这一问题，实现了从任何声音到特定目标声音的转换。
GPT-SoVITS声音克隆 [mac教程]
weixin_40862140的博客
08-11 1809
gpt-sovits项目实现声音克隆操作指南
政安晨【零基础玩转各类开源AI项目】：基于Ubuntu系统本地部署使用GPT-SoVITS进行语音克隆与TTS语音生成
政安晨——致力于AI人工智能数字互动领域
05-07 3845
这是一款开源的AI音色克隆框架，目前只有TTS（文字转语音）功能，将来会更新变声功能。现在介绍如何搭建部署。 类似的还有SVC（歌声转换）、SVS（歌声合成）等。目前GPT-SoVITS只有TTS功能，也就是不能唱歌。 GPT-SoVITS实现了： —— 由参考音频的情感、音色、语速控制合成音频的情感、音色、语速 —— 可以少量语音微调训练，也可不训练直接推理 —— 可以跨语种生成，即参考音频（训练集）和推理文本的语种为不同语种
数字人的未来：数字人对话系统 Linly-Talker + 克隆语音 GPT-SoVITS
风信子的猫Redamancy的快乐星球
02-25 2629
📆📆📆在最近一段时间，我在尝试探索，如何克隆声音，因为在数字人对话系统中，虽然可能能够重建特定的人，但是还是存在一个问题：声音是用固定的人声生成的，导致没有真实性，如果我们能够去克隆出对应的声音，并且结合特定的数字人，那是否就完成了一个数字人的完整复刻。于是我就研究了一段时间，后面发现了两个非常有意思的项目，分别是GPT-SoVITS和XTTS两个开源项目，我认为这两个算是现在最好的两个开源项目了，像OpenVoice之类的效果还是比较差，火山效果不错，但是没有开源。
RunDiffusion – 托管式SD绘画聚合云平台，OpenAI旗下产品， 整合所有Stable Diffusion绘画工具，不用再到处找云端了~
我的博客
07-22 1344
具备最新稳定的Diffusion版本，私密的工作空间，集成文件浏览器，智能计时器等功能。比如说，在设计和创作领域，使用RunDiffusion可以快速生成多种不同的图像，帮助设计师创造出更具创意性的设计作品。（基于 Gradio）设计的平台，旨在提供易于开发、优化的资源管理和更快的推理速度。对于其他 WebUI，95% 的屏幕被输入和 5% 的图像占据，我的则相反。在广告企业中使用该工具还可以进行快速的创意制作，生成符合宣传需求的图像，提高广告效益。，同时确保更高级的用户拥有充分的灵活性。
克隆自己的声音——赛博分身必备技能
深度觉醒
09-18 4640
前言语音合成的技术越来越成熟，大家已经不满足于传统千篇一律的 TTS，转而追求更多个性化的声音。复现整理了一下近期的几种主流实现方案，效果各有千秋，有些适合英语口吻有些适合中文语境，有些甚至模仿的惟妙惟肖，几乎能够乱真。给自己的视频配个音，或是在赛博空间里代替一下自己也毫无违和感了。barkbark 基于 hubert，采用 类似GPT 的结构，直接由文本生成语音，可以生成很多语气和情绪，也能通过...
5秒钟克隆你的声音，有点吓人
09-13 1728
环境windows 10 64bitpython 3.8pytorch 1.7 + cu101ffmpeg前言今天给大家介绍一个语音合成的工具，MockingBird，仅仅使用5秒钟就可以...
一键免费克隆任何 AI 语音！简直太疯狂了！
Aitrepreneur的博客
08-20 339
用 RVC 免费克隆任何人的声音：详细指南 这篇文章介绍了如何使用名为 RVC 的开源软件在本地电脑上免费克隆任何人的声音。作者首先介绍了 RVC 的功能和用途，并列举了一些有趣的例子，如用摩根·弗里曼的声音讲睡前故事，用戈登·拉姆齐的声音骂人，以及用海绵宝宝的声音讲笑话。 作者接着介绍了两种安装 RVC 的方法： 1. 一键安装器： 适用于 Patreon 支持者，只需下载安装文件并运行即可。 ...
rvcwebui教程
02-11
### RVCWebUI 使用教程 #### 项目概述 RVC-WebUI 是一个基于检索的声音转换 Web 用户界面项目，旨在简化声音转换过程并提供友好的交互体验。该项目由 liujing04 创建，名为 Retrieval-based-Voice-Conversion-WebUI reconstruction project[^1]。 #### 安装环境 为了顺利运行 RVC-WebUI，需先安装 Python 和必要的依赖库。推荐使用虚拟环境来管理项目的依赖关系。可以按照如下方式创建和激活虚拟环境： ```bash python3 -m venv env source env/bin/activate # Linux 或 macOS env\Scripts\activate # Windows ``` 接着通过 pip 工具安装所需的包: ```bash pip install -r requirements.txt ``` #### 运行应用 启动应用程序前，请确认已正确配置好所有设置文件。通常情况下，默认配置即可正常工作。要启动服务器，在命令行输入以下指令： ```bash python app.py ``` 访问本地主机上的指定端口（默认为5000），可以在浏览器中打开 http://localhost:5000 来查看和操作 Web UI 页面[^2]。 #### 功能模块说明 该平台提供了多种功能供用户探索不同的语音处理技术，包括但不限于： - **音频上传**: 支持用户上传待处理的音频文件。 - **模型选择**: 提供多个预训练模型供用户挑选最适合需求的一个。 - **参数调整**: 可自定义一些影响最终效果的关键参数。 - **结果展示**: 实时显示转换后的音频片段及其可视化波形图。 #### 常见问题解答 如果遇到任何困难或疑问，建议查阅官方文档获取更多信息和支持。此外，社区论坛也是一个很好的求助渠道，许多开发者愿意分享经验和解决方案。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值