fish speech 快速体验版

fish speech 快速体验版

搭载了该项目所需要的所有环境和模型


windows下只能使用wsl运行此项目训练的训练,不过貌似不需要wsl也可以运行推理

目前项目正在快速发展中…未来可期喵


项目仓库:https://github.com/fishaudio/fish-speech

文档链接:https://speech.fish.audio/finetune/(必看)

镜像作者:bilibili@kiss丿冷鸟鸟

我放了一套 孙笑川 测试数据集在镜像里面,有需要的可以试试,不需要的话删了或者不管就是了

镜像使用手册(小白必看)
如果你的是长音频,则将长音频放入audio slicer内的input文件夹内,进行切割,然后就可以一路标注和预处理,训练了

如果你的是已经处理好的短音频片段,则将短音频放入标注文件夹,然后就可以进行标注,预处理,训练了

如果你既有标注,又有短音频片段,则将短音频放入workdir/fish-speech/data/demo-raw内,标注文件放入workdir/fish-spech,然后就可以预处理,训练了

镜像和文档内的操作有一点点不一样,不过不影响,大佬随意,小白还是建议跟着镜像走(

准备部分

#移动项目到数据盘节约空间
%mv /root/workdir/ /root/autodl-tmp/

#填入你的说话人名称
#在每次进入笔记本前请先运行一次这个代码块
speaker = “sunxiaochuan”

#创建文件夹
%mkdir /root/autodl-tmp/workdir/fish-speech/data/demo-raw/{speaker}

切割

#进入切割文件夹
%cd /root/autodl-tmp/workdir/audio-slicer/

#开始切割
!bash 切割,启动!.sh

#移动音频文件到标注文件夹
%mv output/*.wav …/auto-VITS-DataLabeling/raw_audio

标注

#进入标注文件夹
%cd /root/autodl-tmp/workdir/auto-VITS-DataLabeling

#对音频进行重命名
#在运行这步之前,请确保你已经在准备部分进行过一次说话人的修改
#重命名后的音频位于workdir/auto-vits-DataLabeling/raw_audio文件夹中
import subprocess
bash_script = f’‘’
#!/bin/bash
speaker=“{speaker}”
counter=1
for file in ./raw_audio/; do
if [ -f " f i l e " ] ; t h e n n e w n a

### Fish Speech 声音克隆技术实现 Fish Speech 是由 Fish Audio 开发的一个开源文本转语音 (TTS) 模型,其核心技术依赖于 VQ-GAN、Llama 和 VITS 等先进的 AI 技术[^1]。这些技术共同作用使得该模型可以高效地将输入的文本转化为自然流畅的人类语音。 #### 技术细节 - **VQ-GAN**: 这一生成对抗网络变体用于学习音频数据中的离散表示形式,从而帮助提高合成语音的质量和多样性。 - **Llama**: LLaMA(Large Language Model Meta AI)提供强大的语言理解能力,有助于更精准地解析待转化的文字内容,进而指导高质量的声音输出过程。 - **VITS**: Variational Inference with Tokenized Speech model 结合了自回归解码器与非自回归框架的优点,在保持高效率的同时提升了发音准确性及时序控制性能。 通过上述组件的有效集成,Fish Speech 能够模仿特定说话人的风格特征来执行个性化的声音克隆任务。 ### 使用方法 为了方便开发者快速上手,官方提供了详细的部署指南以及在线平台支持: #### 创建 Python 环境 建议使用 Conda 来管理项目所需的软件包版本。具体命令如下所示: ```bash conda create -n Fish-Speech python=3.8 -y && conda activate Fish-Speech ``` 此操作会建立名为 `Fish-Speech` 的新环境,并安装指定版本的 Python 解释器[^2]。 #### 获取教程资源 访问 OpenBayes 平台上的「公共教程」部分,寻找标题为《Fish Speech v1.4 声音克隆-文本转语音工具 Demo》的教学文档[^3]。按照其中指引完成后续配置工作即可体验完整的功能特性。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值