19k Star！最快语音克隆方案 20毫秒，FishSpeech1.5 Windows 11本地部署教程（附加速和API）

已于 2025-02-15 22:49:02 修改
阅读量3.2k 收藏 25
点赞数 14
分类专栏： 大模型 文章标签： 语言模型 自然语言处理 深度学习
于 2025-02-15 22:48:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a232541/article/details/145657888
版权

引言：语音克隆技术的「速度革命」

在AI技术狂飙的2024年，语音克隆领域杀出一匹黑马——FishSpeech。这个以「极速」闻名的开源项目刚刚完成重磅升级，以19,000+ GitHub Stars的耀眼成绩，刷新了语音合成赛道的技术标杆！本次更新不仅带来了300%的推理速度提升，更实现了「本地化部署一键生成」，真正让高质量语音克隆走进个人电脑。本文带你深度实测最新版FishSpeech，揭秘它为何能成为开发者社区的新宠。

一、FishSpeech 是什么？（开源最开语音克隆方案）

作为完全开源的语音克隆工具，FishSpeech致力于解决传统方案的三大痛点：


✅ 训练时间长（传统方案需数日）
✅ 硬件要求高（依赖高端GPU集群）
✅ 音质不自然（机械感明显）

新版FishSpeech通过自研轻量级架构和动态量化技术，在消费级显卡（甚至CPU）上即可实现分钟级声音复刻，且合成语音的自然度达到真人级别。其核心优势包括：

  • 闪电级推理：1分钟音频生成仅需2秒（RTX 4060实测）

  • 零门槛部署：支持Windows/Linux/macOS全平台

  • 多语言支持：中文、英文、日语等15种语言

二、新版升级亮点解析（4060Ti就能达到毫秒级）

1. 性能怪兽：速度与质量的平衡术

  • 训练速度提升：基于Megatron-LM的分布式训练框架，8卡A100训练时间缩短40%

  • 实时推理优化：引入TensorRT加速，单句生成延迟<50ms

  • 音质增强算法：新增VoiceFixer模块，语音自然度MOS分达4.2（满分5）

2. 平民化部署：人人都能玩的AI神器

  • 模型轻量化：基础模型体积压缩至800MB（原版3.2GB）

  • CPU模式支持：Intel i7可流畅运行，每秒生成20字符

  • 一键安装包：提供Windows版exe安装程序（Beta）

3. 开发者友好升级

  • RESTful API：支持快速集成到现有系统

  • Gradio可视化界面：无需代码即可操作

  • Colab Demo：免费体验在线版本

三、本地部署实测：手把手教程

一、环境准备

  • 系统：Ubuntu 20.04 / Windows 11

  • 显卡：NVIDIA GTX 1060 6GB（或更高）

  • 内存：16GB+

  • 存储：至少10GB空闲空间

二、部署步骤（以 Windows 11为例）

 项目地址：GitHub - fishaudio/fish-speech: SOTA Open Source TTS

1. 克隆仓库，下载代码到本地
# 1. 克隆仓库
git clone https://github.com/fishaudio/fish-speech
cd fish-speech
 2. 安装依赖（推荐使用Conda）
# 创建一个 python 3.10 虚拟环境
conda create -n fish-speech python=3.10
conda activate fish-speech
 3. 安装pytorch（确保本地已经安装了CUDA 且版本一致 加速需要 ）
# 1.确保版本与本地CUDA版本一致
conda install pytorch==2.4.1 torchvision==0.19.1 torchaudio==2.4.1 pytorch-cuda=12.1 -c pytorch -c nvidia
 4. 安装
pip3 install -e .
 5. 下载模型权重（新建文件夹checkpoints）
git clone https://hf-mirror.com/fishaudio/fish-speech-1.5
  6. 开启 WebUI 服务 或API
python tools/run_webui.py
或者
python tools/api_server.py --listen 0.0.0.0:3003

四、编译加速组件安装（开启加速、快如闪电）

一、下载并安装 LLVM 编译器

  1. 选择下载链接

    LLVM 编译器提供了原站站点和镜像站点两种下载方式。为了确保下载速度和稳定性，你可以根据自己的网络环境选择合适的下载链接。

  2. 下载 LLVM 安装包

    在选择的下载页面上，找到适用于 Windows 64 位的安装包（通常为 LLVM-17.0.6-win64.exe），并点击下载。

  3. 安装 LLVM

    • 双击下载的 LLVM-17.0.6-win64.exe 安装包，启动安装程序。
    • 在安装过程中，选择合适的安装位置。
    • 最重要的是，确保勾选 Add Path to Current User 选项，以便将 LLVM 的可执行文件路径添加到系统的环境变量中。这将使你在命令行中能够轻松调用 LLVM 工具。

  4. 确认安装完成

    安装完成后，你可以在命令行中输入 llvm-config --version 来检查 LLVM 是否成功安装以及安装的版本信息。

二、下载安装 Microsoft Visual C++ 可再发行程序包

为了解决潜在的 .dll 文件丢失问题，你需要下载安装 Microsoft Visual C++ 可再发行程序包。

  1. 下载 MSVC++ 可再发行程序包

    前往 Microsoft 官方下载页面 或直接使用提供的链接下载 MSVC++ 14.40.33810.0 版本的可再发行程序包。

  2. 安装 MSVC++ 可再发行程序包

    双击下载的安装包，按照提示完成安装过程。

三、下载安装 Visual Studio 社区版

Visual Studio 社区版提供了 MSVC++ 编译工具，这是解决 LLVM 头文件依赖问题的关键。

  1. 下载 Visual Studio Installer

    前往 Visual Studio 官方网站 下载并安装 Visual Studio Installer。

  2. 安装 Visual Studio Community 2022

    • 打开 Visual Studio Installer，点击 安装 Visual Studio 按钮。
    • 在安装界面中，选择 Visual Studio Community 2022 版本，并点击 继续。
    • 在工作负载选择界面，找到并点击 使用C++的桌面开发 项，确保它被勾选。这将安装所需的 MSVC++ 编译工具和其他相关组件。
    • 点击 安装 按钮开始安装过程。

四、下载安装 CUDA Toolkit 12.x

  1. 下载 CUDA Toolkit

    前往 NVIDIA CUDA Toolkit 官方网站 下载适用于你系统的 CUDA Toolkit 12.x 版本。

  2. 安装 CUDA Toolkit

    双击下载的安装包，按照提示完成安装过程。在安装过程中，确保选择正确的安装选项以满足你的需求。

五、运行API，开启编译加速（ --compile  ）

# (开启编译加速)  后面加--compile 
python tools/api_server.py --listen 0.0.0.0:3003 --compile

实测体验

输入文本：「欢迎来到语音克隆的新纪元，我是FishSpeech合成的语音，您觉得自然吗？」
生成效果：

  • 耗时：20毫秒（RTX 4060Ti）

  • 自然度：无明显机械音，情感起伏自然

  • 口音控制：支持调节语速、语调参数

💡 避坑指南：若遇CUDA内存不足，可添加--half参数启用半精度模式！

【表面缺陷检测】基于yolov5的PCB表面缺陷检测(附代码和数据集)
学无止境、积少成多、厚积薄发
10-26 4943
今天手把手带大家做一个深度学习实战项目：基于yolov5的PCB(印刷电路板)表面缺陷检测（附代码+数据集）。
【表面缺陷检测】基于YOLOX的PCB表面缺陷检测（全网最详细的YOLOX保姆级教程，附代码和数据集）
学无止境、积少成多、厚积薄发
02-10 2076
手把手系列教程：基于YOLOX的PCB表面缺陷检测（全网最详细的YOLOX保姆级教程）
voc2coco：将VOC格式的XML转换为COCO格式的json
02-06
voc2coco 这是用于将VOC格式的XML转换为COCO格式的json（例如coco_eval.json）的脚本。 为什么我们需要将VOC xmls转换为COCO格式json？ 我们可以使用COCO API，这非常有用（例如，计算mAP）。 如何使用 1.制作labels.txt 如果需要制作将标签转换为ID的字典，则为labels.txt。 样本labels.txt Label1 Label2 ... 2.运行脚本 2.1用法1（使用ID列表） $ python voc2coco.py \ --ann_dir /path/to/annotation/dir \
VOC转COCO格式数据集
fade_fate的博客
03-12 900
VOC转COCO格式数据集 此代码用于将VOC格式转换为COCO格式的数据集 在main里选择你的 txt 来筛选图片（train / txt / val） import os.path as osp import xml.etree.ElementTree as ET import mmcv from glob import glob from tqdm import tqdm from PIL import Image def coco_classes():#在这里更改你的类别 name_di
VOC数据集转COCO数据集工具
Lc_001的博客
09-05 780
当我们处理目标检测任务时，很多时候我们会遇到必须将数据集从 VOC 格式转换为 COCO 格式的情况。这个脚本可以帮助你高效地转换数据集格式，并且支持自动复制图像文件，方便管理和使用数据集。为了简化这个过程，我给大家分享一个 Python 脚本，可以将 VOC 格式的数据集转换为 COCO 格式，并且还支持自动复制图像到指定目录。参数，以控制最后生成的 COCO 格式数据集在训练集、验证集和测试集之间的比例。，即将数据集划分为 80%的训练集，10%的验证集和 10%的测试集。当然如果你需要也可以设置为。
coco数据集转voc格式（附pycocotools下载方法）
Snow_cat123456的博客
12-13 1219
1、coco数据集高速下载 我下载的是train2017、val2017和annotations_trainval2017，即coco2017的训练集（118287张图片）、测试集（5000张图片）和他们的标签。 感谢这位大佬的贡献，提供了反代下载方式，直接将下载地址http://us5.funcs.xyz/zips/train2017.zip，http://us5.funcs.xyz/zips/val2017.zip，http://us5.funcs.xyz/annotations/annotations
推荐使用voc2coco：轻松将VOC标注转换为COCO格式的利器！
最新发布
gitblog_00041的博客
05-25 599
推荐使用voc2coco：轻松将VOC标注转换为COCO格式的利器！ 项目地址:https://gitcode.com/gh_mirrors/vo/voc2coco 在计算机视觉领域，数据标注是训练模型的关键步骤。通常我们会在不同的数据集上进行训练，而每个数据集可能采用不同的标注格式。其中，PASCAL VOC和Microsoft COCO是最为广泛使用的两个数据集，它们分别采用了XML和JSON...
深度学习常用数据集：ImageNet、PASCAL VOC、Labelme和COCO详解
数据集的所有图像均为原创，免费且公开，但下载需通过MATLAB工具。 4. COCO (Common Objects in Context): COCO数据集是一个综合性的图像识别、分割和字幕标注集合，由多个机构的专家共同创建。COCO在目标识别和...
深度学习算法优化系列十五 | OpenVINO Int8量化前的数据集转换和精度检查工具文档
I good vegetable a!
02-27 1799
前言 接着上文，我们知道了量化的操作过程是： 转换数据集获得Annotations文件。 （可选的）评估低精度模型性能。 校验模型。 评估结果模型。 可以看到在用Calibaration Tool进行Int8量化之前需要先解决如何将我们的原始数据集转为Annotations文件以及我们如何用精度检查工具(Accuracy Checker Tool)去评估我们的量化后模型的表现？ Accurac...
【目标检测】基于yolov6的钢筋检测和计数(附代码和数据集)
学无止境、积少成多、厚积薄发
01-12 2022
手把手系列教程：基于yolov6的钢筋检测和计数(附代码和数据集)
COCO格式转VOC格式
06-12
COCO格式转VOC格式
voc格式转coco格式并增强python代码
08-16
voc格式转coco格式并使用albumentations增强python代码
VOC增强数据集数据转换代码
10-11
VOC增强数据集数据转换代码，包括 mat2png.py，convert_labels.py，utils.py
labelme标注的数据集格式转换到COCO数据集格式
10-28
Mask_RCNN训练，labelme标注的数据集格式转换到COCO数据集格式。
labelme标注数据集到COCO格式数据集转化，用于官方版Mask-Rcnn训练
04-14
labelme标注数据集到COCO格式数据集转化，用于官方版Mask-Rcnn训练
VOC格式数据转COCO(For Object Detection)
TransPlus的博客
12-18 340
import os import random import shutil import sys import json import glob from time import sleep import xml.etree.ElementTree as ET # os.chdir(sys.path[0]) from tqdm import tqdm # 进度条 import logging logger = logging.getLogger(__name__) # critical > error
VOC格式数据集转COCO格式数据集（详细图文教程）
qq_40280673的博客
08-02 1462
VOC格式数据集转COCO格式数据集
[技术杂谈][原创]voc数据集,labelme数据集,coco数据集之间相互转换方法
FL1623863129的博客
07-21 378
目前已经实现了下面转换工具，可视化操作，一键转换，适用windows平台。下面是相互转换示意图 其中，coco转换voc格式工具 voc转coco数据集工具 labelme转coco工具 labelme转voc工具 上述工具界面请以最新版本为准，上面只作为参考。 ...
VOC 数据集 转 COCO 数据集 可以很简单
史蒂夫方
10-06 5427
近期刚好跑CenterNet有这个需求 但是手动将VOC转成COCO是一件麻烦的过程, 网上的教程零零落落的 即使你这次转成功了， 下次如果还有需求， 估计又得找教程 于是就整合了一些开源的代码 编成一份可以几乎是一条指令就快速生成转成COCO数据集的 目前只有for目标检测转换的部分， 其余的任务我尚未接触过 在这边安利一下VOC_to_COCO 使用文档如下 VOC_to_COCO upd...
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值