去除人声--安装和使用spleeter分离人声和背景声

已于 2022-05-06 20:45:55 修改
阅读量1.3w 收藏 86
点赞数 10
分类专栏： 点滴 文章标签： 音视频
于 2022-05-06 20:41:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44985985/article/details/124568150
版权

在实现过程中遇到了一些问题也在此记录下来，希望大家能少踩这些坑。

文章目录

前言

最近处理音视频，想把音频中的人声去掉，保留背景音乐。网上说AU 有人声移除的功能，我想AU竟然如此强大，于时去下载了AU，去除人声之后，整个都没有声音了。原因可能是：原音频看起来是立体声，实际上左声道和右声道是相同的,而人声消除的原理恰恰是消除左声道与右声道相同的声音,这样一搞自然就什么声音都没了。之后发现网上有很多吐槽AU的中置声道提取 。
*‘AU的中置声道提取算法就是个垃圾’ *

就好像：需要扣掉照片的主体保留背景，结果直接拿剪子在照片中间剜个洞。

后来看到github上面有spleeter，效果比AU好多了，下面是安装使用过程

一、最后效果是什么样的

成功分离出人声和背景声

在这里插入图片描述

二、安装FFmpeg（不能跳）

注意FFmpeg这步必须安装

因为spleeter库依赖FFmpeg

1.打开官网

http://ffmpeg.org/download.html
下面以windows 64bit为例，不要点击绿色Download 标识，点击下面windows图标
在这里插入图片描述
点击第二行，进入github
在这里插入图片描述
下载win64-gpl.zip，如果下载速度太慢，半天下载不来，进入这个github加速网站
直接输入下载的网址：

https://github.com/BtbN/FFmpeg-Builds/releases

在这里插入图片描述
FFmpeg分为3个版本：Static、 Shared、 Dev
这篇博客有说明：https://www.jianshu.com/p/7ed3be01228b

下载完之后解压，进入到bin目录，看到3个文件
在这里插入图片描述
复制bin目录所在文件路径，进入下一步，设置环境变量

系统变量->选择PATH条目
在这里插入图片描述
双击->新建->将bin目录路径添加进去。
在这里插入图片描述
打开cmd命令行窗口，输入命令ffmpeg –version

在这里插入图片描述
出现ffmpeg版本信息，说明安装成功。

三、安装spleeter模块

1.通过Anaconda创建一个虚拟环境

为了程序的稳定性，建议先通过Anaconda创建一个环境专门用来运行Spleeter，命名为music，选择python3.6。
在这里插入图片描述
点击三角按钮，选择open in Terminal,进入虚拟环境,输入下面命令
注意：我刚开始创建了Python3.6的虚拟环境，结果输入下面命令不行，于时改成3.7版本，就可以了。

conda install -c conda-forge spleeter

安装完成后，窗口会自动清屏并出现一个done
在这里插入图片描述

2.下载预训练模型

下载地址，点击这里
https://github.com/deezer/spleeter/releases/tag/v1.4.0
我这里下载了最通用的2stem分离，就是人声和背景声
在这里插入图片描述
新建一个spleeter工作文件夹,我这里命名为location，在location文件夹中建立一个pretrained_models文件夹
将下载的2stem解压到C:\location\pretrained_models中。

3.文件结构（要特别注意）

1.在spleeter工作文件夹location中新建output文件夹，作为分离后的音频输出的地方。
2.将音频也放在spleeter工作目录中。
在这里插入图片描述
上面文件结构存放最好保持一致，不然下面运行之后又可能出现一大推错误，血泪教训。

四、使用spleeter分离人声和背景声

  1. 打开创建的虚拟环境命令行，切换目录到spleeter工作文件夹location中，cd C:\location
  2. 输入命令
spleeter separate -i C:/location/Confucius.mp3 -p spleeter:2stems -o C:/location/output/

在这里插入图片描述
成功在output文件夹中输出。
output文件夹中多出来一个以音频名命名的文件夹
在这里插入图片描述
在这里插入图片描述

错误示范

没有搞清楚文件结构，应建立哪些文件，分别装什么，以至于出现很多错误，安装成功，就不需要往下看了。

下面以人声分离为例
新建一个2stems文件夹
https://github.com/deezer/spleeter/releases
进入这个下载地址，下载Source code (tar.gz)
在这里插入图片描述
解压到2stems文件夹中

输入命令，分离人声

spleeter separate -p spleeter:2stems -o C:/Users/Desktop C:/Users/Desktop/music.mp3

但遇到下面错误

usage: spleeter separate [-h] [-a AUDIO_ADAPTER] [-p CONFIGURATION]
                         [--verbose] -i INPUTS [INPUTS ...] [-o OUTPUT_PATH]
                         [-f FILENAME_FORMAT] [-d DURATION] [-s OFFSET]
                         [-c {wav,mp3,ogg,m4a,wma,flac}] [-b BITRATE] [-m]
                         [-B {tensorflow,librosa,auto}]
spleeter separate: error: the following arguments are required: -i/--inputs

再换下面这个命令

------spleeter指令--|----目标文件-----|----输出目录------|
spleeter separate -c mp3 C:/Users/Desktop/music.mp3 -o C:/Users/Desktop

还是有这个错误
这个错误意思是：
spletter separate:错误:需要以下参数:i/-inputs
换成下面这个命令，有-i参数
python -m spleeter separate -i C:/Users/Desktop/music.mp3 -p spleeter:2stems -o C:/Users/Desktop

一直遇到下面这个错误
在这里插入图片描述

Traceback (most recent call last):
  File "C:\develop\anaconda3\envs\Py37_music\Scripts\spleeter-script.py", line 10, in <module>
    sys.exit(entrypoint())
  File "C:\develop\anaconda3\envs\Py37_music\lib\site-packages\spleeter\__main__.py", line 54, in entrypoint
    main(sys.argv)
  File "C:\develop\anaconda3\envs\Py37_music\lib\site-packages\spleeter\__main__.py", line 46, in main
    entrypoint(arguments, params)
  File "C:\develop\anaconda3\envs\Py37_music\lib\site-packages\spleeter\commands\separate.py", line 45, in entrypoint
    synchronous=False
  File "C:\develop\anaconda3\envs\Py37_music\lib\site-packages\spleeter\separator.py", line 228, in separate_to_file
    sources = self.separate(waveform, audio_descriptor)
  File "C:\develop\anaconda3\envs\Py37_music\lib\site-packages\spleeter\separator.py", line 195, in separate
    return self._separate_librosa(waveform, audio_descriptor)
  File "C:\develop\anaconda3\envs\Py37_music\lib\site-packages\spleeter\separator.py", line 180, in _separate_librosa
    sess = self._get_session()
  File "C:\develop\anaconda3\envs\Py37_music\lib\site-packages\spleeter\separator.py", line 161, in _get_session
    saver.restore(self._session, latest_checkpoint)
  File "C:\develop\anaconda3\envs\Py37_music\lib\site-packages\tensorflow_core\python\training\saver.py", line 1277, in restore
    raise ValueError("Can't load save_path when it is None.")
ValueError: Can't load save_path when it is None.

原来是模型还没有生成，就去训练。
参考博客

https://blog.csdn.net/qq_39377418/article/details/97135361?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522165183023516782388011424%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fblog.%2522%257D&request_id=165183023516782388011424&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~blog~first_rank_ecpm_v1~rank_v31_ecpm-1-97135361-null-null.nonecase&utm_term=spleeter++raise+ValueError%28Cant+load+save_path+when+it+is+None.%29+ValueError%3A+Cant+load+save_path+when+it+is+None.&spm=1018.2226.3001.4450

解决方案：
建议在某个盘的根目录里新建一个全英文的文件夹（尽量不要出现中文或者特殊符号，因为这样它有可能会找不到路径，会报错）用于存放你将要处理的MP3或者wav文件，其次你本身要处理的文件的名字也应该是全英文
参考博客：
https://blog.csdn.net/qq_44976743/article/details/108632618
但是还是不行。
最后才发现是预训练模型下载错了
在这里插入图片描述
github页面往下滑才发现应该下载下面Spleeter public release
分离人声和背景音乐就下载2stems.tar.gz
在这里插入图片描述
文件夹中只有这几个文件

在这里插入图片描述
最后再次输入命令
在这里插入图片描述
结果还是报错。
又仔细搜寻其他博客，一个字一个字，仔细瞅了，才发现是要切换到spleeter工作目录下，

我把工作目录命名为location,文件结构如下
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
可以看到

INFO:spleeter:File C:/location/output/Confucius/accompaniment.wav written succesfully
INFO:spleeter:File C:/location/output/Confucius/vocals.wav written succesfully

输出成功了，output文件夹中多出了一个文件夹
在这里插入图片描述
在这里插入图片描述

总结

终于将一段音频实现了人音和伴奏分离了，效果还不错，可能人音部分还是又一点伴奏声音，不过我主要想要这段音频的伴奏，自己进行配音。
总结整个实现过程最困难的就是一直报

raise ValueError("Can't load save_path when it is None.")
ValueError: Can't load save_path when it is None.

这个错误，让我整了半天，才整出来，最主要原因还是文件结构以及路径的问题，这点一定要仔细。
仔细安装，一步一步来就没有什么大问题。

参考文献：
https://zhuanlan.zhihu.com/p/324472015

https://zhuanlan.zhihu.com/p/149944571

https://tancolin.blog.csdn.net/article/details/122572573?spm=1001.2101.3001.6650.5&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromBaidu%7Edefault-5-122572573-blog-115488883.pc_relevant_default&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromBaidu%7Edefault-5-122572573-blog-115488883.pc_relevant_default&utm_relevant_index=6

https://www.bilibili.com/read/cv13211840

咿呀咿呀咿呀哟
关注
  • 10
    点赞
  • 踩
  • 86
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
spleeter分离伴奏和人声
James_bobo的博客
11-11 1万+
近日，Deezer开源了一个名为Spleeter项目，该项目利用深度学习对音乐曲目进行源分离。它使用Keras和TensorFlow构建，Spleeter可以帮助音乐信息检索（MIR）领域的研究机构，充分利用最先进的源分离算法的强大功能，它以基于Tensorflow的Python库的形式出现，包含针对2、4和5个词干分隔的预训练模型。 什么是源分离？ 音乐录音通常是几个单独乐器音轨的组合（主音，鼓...
使用spleeter分离背景音乐与人声
a7418529630a的博客
04-05 1537
操作环境：Ubuntu 20.04.2 LTS x64 in VMware虚拟机 来源 spleeter-github spleeter-github-wiki Ubuntu环境变量配置 步骤 安装spleeter 打开终端，安装ffmpeg：sudo apt-get install ffmpeg 通过pip3安装spleeter：pip3 install spleeter， （如果未安装pip3的话需要先安装pip3：sudo apt install python3-pip） 脚本文件会被下载到 /h
分离音频的人声和背景音/音轨----spleeter
ltbweber的博客
06-14 411
这是一个基于python 语言编写的一个工具类小项目，运用了spleeter 库，分割音频中的人声和背景音，目前测试效果还是比较好，主要是免费的就是香。如果你做自媒体，或者AIGC相关音频项目，相信这是个对你很大帮助的小工具。
使用spleeter对音乐分轨(人声&伴奏 分离)
强强强子的博客
12-16 3380
前言 需要一首伴奏，在网上搜索了好久 都没有找到(专业音频处理软件又懒得下)， 就搜到了spleeter，本文主要记录一下使用spleeter的过程 不解释原理。 安装conda环境 下载spleeter 执行 conda Conda 是开源的包管理系统和环境管理系统，可以安装软件包的多个版本和依赖，而且方便切换.conda的安装参考https://www.jianshu.com/p/edaa744ea47d本文不赘述 spleeter Spleeter基于TensorFlow开发，本身运行速度非
毕业设计之python语音和背景音乐分离算法及系统文档（python完整源码+说明文档+演示视频）
最新发布
haoyanlikeJava的博客
07-10 396
该功能是整个系统中最为主要的功能，该功能可以在文本框中选择音频，当选择了本地的音频后，系统会进行音频的上传操作，在上传之后可以通过点击开始分离来对上传的音频进行分离操作。在分离之后，会形成三个音频内容，分别为原始的音频，背景音乐的音频以及人声的音频。本次是通过python技术来搭建一款软件，在该软件中以MP3形式上传音乐，系统会对音乐中的背景音以及人声进行有效的分离，本次的系统研究重点在主成分分解技术的运用，通过该分解技术能够有效增强人声分离的有效性，增强综合表现能力。后端：开发语言：python。
使用spleeter分离音频文件中的伴奏和人声
菠萝菠萝哒X
02-27 2531
  Spleeter 是 Deezer 源分离库，带有用 Python 编写并使用 TensorFlow 的预训练模型。 它使训练音乐源分离模型变得容易（假设您有一个孤立源的数据集），并提供已经训练过的最先进的模型来执行各种风格的分离。 Spleeter项目官网传送门：https://research.deezer.com/projects/spleeter.html Spleeter源代码仓库传送门：https://github.com/deezer/spleeter/ ...
spleeter——人声伴奏分离工具安装
wangyubin2010n的博客
04-07 2444
准备 conda Conda是在Windows，macOS和Linux上运行的开源软件包管理系统和环境管理系统。 Conda可以快速安装，运行和更新软件包及其依赖项。 Conda可以轻松地在本地计算机上的环境中创建，保存，加载和切换。它是为Python程序创建的，但可以打包和分发适用于任何语言的软件。 conda分为anaconda和miniconda。miniconda属于精简版，不过完全满足我们的需求了，这里给出了miniconda的下载链接。我使用的是python3.8的版本。系统有MacOs和Lin
spleeter背景、人声分离结果.zip
02-29
资源为我本人blog文章：https://blog.csdn.net/zengraoli/article/details/104581306，分离人声和背景声所用的原始视频与分离结果
【java办公自动化（9）】-- windows加黄金拍档spleeter，完美分离抖音网红歌曲人声和背景声
04-05 918
【java办公自动化（9）】-- windows加黄金拍档spleeter，完美分离抖音网红歌曲人声和背景声 前言： 最近看哔哩哔哩，发现网上很多音乐鬼才，鬼畜由此而生。也无聊在家刷抖音，其中歌曲余音绕梁，这里爬取抖音视频就不教了，但是歌曲中的背景声尤其喜欢，但五音不全的我，分不清音准的高低，也不会使用专业软件，上网查了下，像白纸的小白白可以零基础使用spleeter，虽说spleeter官网表明...
spleeter音乐人声分离模型_2stems.tar.gz
02-14
在音乐制作和音频处理领域，人声分离是一项重要的技术，它能够将音乐中的人声部分与背景音乐分离开来，为混音、编辑和创意创作提供了无限可能。Spleeter是由Deezer Research开发的一款高效的人声分离工具，尤其在2-...
人工智能-项目实践-计算机视觉-使用 spleeter 将视频中的人声提取出来（去除背景音），再对视频中的声音进行分析，分成静音
12-27
使用 spleeter 将视频中的人声提取出来（去除背景音），再对视频中的声音进行分析，分成静音部分和非静音部分，分别施加不同的速度，最后合成到一个新视频 功能： 使用 spleeter 将视频中的人声提取出来（去除背景...
声源分离背景声伴奏及人声
12-09
在这个案例中，我们关注的是"背景声伴奏"和"人声"的分离。 "声源分离"是一种复杂的信号处理任务，其目标是将混合音频中的各个独立声源分离开来。这个过程通常涉及到频谱分析、时频表示和机器学习算法。在本场景中，...
MATLAB去除背景声音--人声
05-06
在音频处理领域，有时我们需要将背景音乐与人声分离，以便进行特定的编辑或分析。MATLAB作为一种强大的数值计算和编程环境，提供了丰富的工具箱来处理这类任务。本项目名为"MATLAB去除背景声音--人声"，其目标是通过...
利用spleeter库实现人声和音乐分离（踩过的坑及解决方法）
qq_53914247的博客
07-02 1600
记录 利用spleeter库实现人声和音乐分离时踩过的坑及解决方法
Spleeter做人声分离一个基于深度学习的音频源分离工具
polsnet的专栏
04-17 2196
需要注意的是，Spleeter 虽然能够自动进行音频源分离，但由于音频文件的质量、长度和复杂度等因素的影响，分离结果可能并不完美。需要注意的是，Spleeter 的分离效果会受到许多因素的影响，例如音频质量、音乐类型、分离轨道的选择等等。因此，在使用 Spleeter 进行人声分离时，可能需要多次尝试不同的参数和设置，才能得到最佳的分离效果。在进行人声分离时，可以只选择第一个轨道，从而保证分离出的是纯净的人声。因此，在使用分离出的人声时，可能需要进行后期处理，例如去除噪声、增强人声等等，以达到更好的效果。
使用Spleeter分离人声和伴奏
LikiLyn的博客
07-10 1007
o output 指定了处理结果的存放位置，蓝天白云—陆人计划.mp3则是需要处理的文件名，在未指定-p参数时，默认使用2stems模型。根据自己需要下载预训练模型，这里以可分离人声与伴奏的2stems为例（2stems，4stems，5stems的区别在于可以分离的声音数量不同，后两者可以将伴奏中的不同乐器声进行分离，具体区别可见项目介绍）。如下图所示，file文件夹为项目根目录，后面的操作均基于此目录进行，将需要分离的音频文件放入file中。这里根据我使用过程中遇到过的坑，总结了一份新的使用流程。
本地运行 AI 音频分离开源项目 - Spleeter
TechAI的博客
03-14 1573
把音频中的不同音频源分离出来，是影音处理领域中的常用操作。 最普遍的需求就是把人声、背景音乐提取出来。Spleeter 是开源的音频分离工具，分离效果非常好。
ffmpeg 如何把左右声道_分离视频声道——台词人声、背景音乐随你用
weixin_32364911的博客
12-06 3979
我们在制作影视混剪时，常常面临这样的问题——如何将人物台词和背景音乐分离开？有时我们只需要一句经典台词或者一段经典BGM，那么该如何得到某个片段的台词或者这个片段的背景音乐呢？今天我就来分享如何分离电影的声道，提取干净的台词人声和背景音乐。实际上绝大多数的电影都是多声道的，背景音乐、人物台词、环境音效都是分离在不同的声道中。既有利于电影工业的后期制作，在放映时配合多声道音响设备也可以给观...
Spleeter分离音乐的人声和背景音乐，也可以用于分割视频的安装和使用
weixin_44869765的博客
12-24 1653
首先要创建文件夹，就在pycharm中创建就行了，文件名分别为output和pretrained_models用来存储输出分离的音频(output)和 Deezer之前训练好的深度学习模型(pretrained_models)。首先打开 Anaconda3，然后点击创建(create)，选择python版本3.7以上的版本我这里是3.7.16，这样环境就创建完成了。ffmpeg是Spleeter依赖的软件，需要先安装，安装过程是首先在pycharm打开Terminal；1、在Anaconda中创建环境。
spleeter歌曲人声分离原理
07-28
根据提供的引用内容，Spleeter 是一种用于音频源分离的工具。它可以将音频文件中的不同音频源（如人声、伴奏等）分离出来。然而，Spleeter 的分离效果可能受到多种因素的影响，包括音频质量、音乐类型和分离轨道的选择等。因此，在使用 Spleeter 进行人声分离时，可能需要根据具体情况进行调整和优化，以获得更好的分离效果。\[1\]\[2\] 至于 Spleeter 的具体原理，它使用了深度学习技术，特别是神经网络模型。该模型经过训练，可以学习到不同音频源的特征，并根据这些特征将音频信号分离成不同的源。具体来说，Spleeter 使用了一种称为 U-Net 的神经网络结构，该结构可以有效地处理音频信号的分离任务。通过将输入音频信号传递给神经网络模型，Spleeter 可以将音频信号分离成多个源，例如人声和伴奏。\[1\]\[2\] 需要注意的是，Spleeter 的分离结果可能并不完美，因为分离效果受到多种因素的影响。因此，在使用 Spleeter 进行音频源分离时，可能需要进行多次尝试，并根据具体情况进行参数和设置的调整，以获得最佳的分离效果。\[1\]\[2\] #### 引用[.reference_title] - *1* *2* [Spleeter做人声分离一个基于深度学习的音频源分离工具](https://blog.csdn.net/polsnet/article/details/130193997)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [去除人声--安装和使用spleeter分离人声和背景声](https://blog.csdn.net/qq_44985985/article/details/124568150)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值