歌声合成 （Singing Voice Synthesis）理论

已于 2024-09-24 11:37:55 修改
阅读量3k 收藏 13
点赞数 3
分类专栏： 歌声合成合成进阶教程 文章标签： 数据库
于 2020-05-25 15:34:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_32393347/article/details/106334418
版权
本文深入探讨了歌声合成的原理，包括音乐四要素、语音产生机理和歌声合成的两大类别。介绍了基于波形拼接和统计模型的方法，特别强调了基于HMM的歌声合成框架。还讨论了汉语歌声合成的挑战，如基频模型和颤音建模，并提出了基频稀疏问题的解决方案。此外，文章详细阐述了歌声合成的关键，如颤音特征和基频的精确控制，以及乐谱与歌声的关系。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

歌声合成原理

  • 歌唱产生的音乐成为歌声。歌唱更注意着重于通过横膈膜和腹部甚至下腹部肌肉来调整呼吸， 从而更好地控制音高、音色等。
  • 歌唱中的颤音是指音高急剧上下波动的声音，是由空气有控制地通 过放松的喉部而产生。
  • 一般包括两个过程：乐谱的分析和声音的产生。
    • 乐谱分析：调、节奏、旋律和语义

音乐四要素

  • 音的高低：音高 （最重要）：发声体的振动频率决定，是周期的倒数
    • 人堆频率的感知是非线性的，例如100Hz与它的2倍频200Hz之间的距离和 200Hz与它的2倍频400Hz间的距离对人耳来说是一致的。
    • 频率大则音高，频率小则音低。
    • 音乐上倍频称为一个八度，西方的十二平均律把一个八度分为十二个半音。
    • 标准音高A5（(5表示该音符在第5个八度音程)，）：中央c上的A音符发音频率为440HZ，表示成A=440HZ，A440，国际通用标准音
了解本专栏 订阅专栏 解锁全文 超级会员免费看
歌声合成理论教程(1)
AI拉呱，专注于人工智与网络安全方面的研究，关注一起学习。
05-20 1351
文章目录歌声合成原理音乐四要素语音产生的机理歌声合成研究现状基于波形拼接的方法基于统计模型汉语歌声合成：歌声转换基于统计模型的汉语歌声 合成研究基频模型HMM基于HMM的声音合成框架建模尺度建模结构特征提取模型训练阶段合成阶段歌声合成的关键歌声的市场与乐谱的关系歌声的基频与乐谱的关系时间模型基频稀疏问题实际基频与乐谱差值建模颤音建模歌声合成的评价方式 歌声合成原理 歌唱产生的音乐成为歌声。歌唱更注意着重于通过横膈膜和腹部甚至下腹部肌肉来调整呼吸， 从而更好地控制音高、音色等。 歌唱中的颤音是指音高急剧上下
Singing voice synthesis：related software
AI拉呱，专注于人工智与网络安全方面的研究，关注一起学习。
06-24 352
htk_io This python package allows reading and writing of files in some of the formats used by Hidden Markov Model Toolkit (HTK) <http://htk.eng.cam.ac.uk/>_ and HMM-based Speech Synthesis System...
语音合成（speech synthesis）方向六：歌唱合成（singing voice synthesis)
低调奋进
01-07 4620
声明：工作以来主要从事TTS工作，工程算法都有涉及，平时看些文章做些笔记。文章中难免存在错误的地方，还望大家海涵。平时搜集一些资料，方便查阅学习：TTS 论文列表 http://yqli.tech/page/tts_paper.html TTS 开源数据 http://yqli.tech/page/data.html。如转载，请标明出处。欢迎关注微信公众号：低调奋进 目录 1 研究背景 2研究情况 2.1 数据充足 2.1.1系统架构设计 2.1.2高采样率数据 2.2数据匮乏 ...
【SVS】DiffSinger: Singing Voice Synthesis via Shallow Diffusion Mechanism
eggplant323的博客
09-12 1560
DiffSinger SVS via shallow diffusion mechanism
探索音乐魔法：Awesome Singing Voice Synthesis & Singing Voice Conversion
gitblog_00035的博客
05-09 476
探索音乐魔法：Awesome Singing Voice Synthesis & Singing Voice Conversion 去发现同类优质开源项目:https://gitcode.com/ 在这个充满创新的时代，音乐创作已经不再局限于传统的模式。随着科技的发展，人工智能在音乐领域的应用日益广泛，尤其是Singing Voice Synthesis（歌唱语音合成）和Singing V...
歌声合成原理
AI拉呱，专注于人工智与网络安全方面的研究，关注一起学习。
05-10 729
文章目录歌声合成原理音乐四要素语音产生的机理歌声合成研究现状基于波形拼接的方法基于统计模型汉语歌声合成：歌声转换基于统计模型的汉语歌声 合成研究基频模型HMM基于HMM的声音合成框架建模尺度建模结构特征提取模型训练阶段合成阶段歌声合成的关键歌声的市场与乐谱的关系歌声的基频与乐谱的关系时间模型基频稀疏问题实际基频与乐谱差值建模颤音建模歌声合成的评价方式歌声库的建立曲目选择乐谱分析标准的MIDI示例MusicXMLxml解析基线系统搭建歌声信号分析时域分析频域分析语谱分析提取工具worldWorld 通过Che
复现论文：singing voice based CNN 《未完，待续源码》
AI拉呱，专注于人工智与网络安全方面的研究，关注一起学习。
03-31 416
文章目录直译整体结构网络结构样本 直译 Title:Singing voice synthesis based on convolutional neural networks 核心思路：midi 输入到CNN，预测声学特征（acoustic feature），声学特征输入到声码器得到音频。 一句话：运用CNN模型将乐谱序列映射到声学特征 整体结构 输入参数：节奏和速度是乐谱中重要的...
歌声合成算法流程和基于lstm的算法实例
AI拉呱，专注于人工智与网络安全方面的研究，关注一起学习。
06-02 755
歌声合成（Singing Voice Synthesis, SVS）是一项复杂的任务，旨在生成具有自然音质和情感的歌声。实现这种效果的算法通常涉及多个步骤，包括音高预测、音素时长预测、声学特征生成和波形生成等。基于LSTM（Long Short-Term Memory）网络的歌声合成算法是其中一种常见的方法。
SLT2021: LEARN2SING: TARGET SPEAKER SINGING VOICE SYNTHESIS BY LEARNING FROM A SINGING TEACHER
ruclion的专栏
01-22 432
0. 题目 LEARN2SING: TARGET SPEAKER SINGING VOICE SYNTHESIS BY LEARNING FROM A SINGING TEACHER 学会唱歌: 目标说话人从一个歌唱老师那里学会唱歌(歌声合成) 1. 摘要 唱歌声合成已受到越来越多的关注 语音合成领域发展迅速。通常，为了从歌词和与音乐相关的录音, 乐谱等中产生自然的演唱声音，通常需要录音棚级的演唱语料库。但是，这样的语料库很难收集，因为我们很多人都很难像专业歌手一样唱歌。在本文中，我们提出了一种
语音合成（TTS)论文优选：DeepSinger: Singing Voice Synthesis with Data Mined From the Web
低调奋进
01-06 1036
声明：语音合成（TTS)论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。 欢迎关注微信公众号：低调奋进 DeepSinger: Singing Voice Synthesis with Data Mined From the Web ​ 本文章是浙江大学和亚洲微软联合发表关于歌唱合成的文章，更新于2020.07.15，本文主要的贡献是如何使用网上爬取的数据来训练歌唱合成系统，具体的文章链接https://arxiv.org/..
歌声合成理论基础.pdf
05-25
歌声合成理论基础，以及当前歌声合成的前沿知识以及处理的基本理论。
midi2voice:从MIDI文件唱歌合成
05-24
从MIDI文件唱歌合成 该脚本依赖于名古屋工业大学的网站，该网站实现了基于HMM的唱歌声音合成系统。 您可以找到与乐器音频合并的样本。 要求 musescore：用于将midi转换为musicxml Python3 安装 pip install midi2voice 用法 您可以使用它使用python -m运行已安装的模块。 它具有五个参数，lyrics_file，midi_file，歌手性别（可选），速度（可选）和目标文件夹（可选）。 使用范例 在检查midi和文本示例。 # Print help python3 -m midi2voice -h # Generate the voice given a midi file and a text file with the lyrics python -m midi2voice -l shallow.txt -m shallow.
歌声合成，中间目标是完成一个基于深度学习的中文歌声合成系统，最终目标是完成一个便于用户使用和定制的中文歌声合成系统
最新发布
09-22
深度学习是机器学习的一个子领域，它基于人工神经网络的研究，特别是利用多层次的神经网络来进行学习和模式识别。深度学习模型能够学习数据的高层次特征，这些特征对于图像和语音识别、自然语言处理、医学图像分析等应用至关重要。以下是深度学习的一些关键概念和组成部分： 1. **神经网络（Neural Networks）**：深度学习的基础是人工神经网络，它是由多个层组成的网络结构，包括输入层、隐藏层和输出层。每个层由多个神经元组成，神经元之间通过权重连接。 2. **前馈神经网络（Feedforward Neural Networks）**：这是最常见的神经网络类型，信息从输入层流向隐藏层，最终到达输出层。 3. **卷积神经网络（Convolutional Neural Networks, CNNs）**：这种网络特别适合处理具有网格结构的数据，如图像。它们使用卷积层来提取图像的特征。 4. **循环神经网络（Recurrent Neural Networks, RNNs）**：这种网络能够处理序列数据，如时间序列或自然语言，因为它们具有记忆功能，能够捕捉数据中的时间依赖性。 5. **长短期记忆网络（Long Short-Term Memory, LSTM）**：LSTM 是一种特殊的 RNN，它能够学习长期依赖关系，非常适合复杂的序列预测任务。 6. **生成对抗网络（Generative Adversarial Networks, GANs）**：由两个网络组成，一个生成器和一个判别器，它们相互竞争，生成器生成数据，判别器评估数据的真实性。 7. **深度学习框架**：如 TensorFlow、Keras、PyTorch 等，这些框架提供了构建、训练和部署深度学习模型的工具和库。 8. **激活函数（Activation Functions）**：如 ReLU、Sigmoid、Tanh 等，它们在神经网络中用于添加非线性，使得网络能够学习复杂的函数。 9. **损失函数（Loss Functions）**：用于评估模型的预测与真实值之间的差异，常见的损失函数包括均方误差（MSE）、交叉熵（Cross-Entropy）等。 10. **优化算法（Optimization Algorithms）**：如梯度下降（Gradient Descent）、随机梯度下降（SGD）、Adam 等，用于更新网络权重，以最小化损失函数。 11. **正则化（Regularization）**：技术如 Dropout、L1/L2 正则化等，用于防止模型过拟合。 12. **迁移学习（Transfer Learning）**：利用在一个任务上训练好的模型来提高另一个相关任务的性能。 深度学习在许多领域都取得了显著的成就，但它也面临着一些挑战，如对大量数据的依赖、模型的解释性差、计算资源消耗大等。研究人员正在不断探索新的方法来解决这些问题。
《Exploring Cross-lingual Singing Voice Synthesis Using Speech Data》论文阅读
weixin_40695631的博客
04-01 175
任务 歌唱合成的目的是给定乐谱和旋律， 合成歌唱音频。歌唱合成系统能够通过训练目标说话人相关的同一语言下的歌唱/语音数据来构建。 目前大多数的歌唱合成系统只支持一种语言，给定说话人的语音数据（同一语言）来合成歌唱声音。如Tacotron2 GST模型加入speaker embedding， pitch 后就能扩展到只用语音数据来进行歌唱合成。但是目前用说话人的非目标语言数据来训练，合成目标歌唱音频是很有挑战性的（如给定说话人的英文语音数据， 希望合成说话人的中文歌唱音频）。 在这篇文章中介绍了一个跨语言的.
语音合成（TTS)论文优选：learn2sing target speaker singing voice synthesis by learning from a singing teacher
低调奋进
12-24 608
声明：语音合成（TTS)论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。 欢迎关注微信公众号：低调奋进 learn2sing target speaker singing voice synthesis by learning from a singing teacher 本文是西北工业大学语音和语言处理小组和北京标贝科技有限公司发表的文章，主要是使用普通语音来学习歌唱合成，具体的文章链接 https://arxiv.org/pdf
歌声合成方法和工具总结1
AI拉呱，专注于人工智与网络安全方面的研究，关注一起学习。
03-17 2059
主流的方法 tacotron + wavenet=tacotron2 demo：https://colab.research.google.com/github/r9y9/Colaboratory/blob/master/Tacotron2_and_WaveNet_text_to_speech_demo.ipynb 5.声码器 1. world 1. github地址：https://g...
TTS合成中的语音合成引擎：从实时性到可扩展性和多语言方法
AI天才研究院
06-25 552
目录1. 引言2. 技术原理及概念2.1 基本概念解释2.2 技术原理介绍3. 实现步骤与流程3.1 准备工作：环境配置与依赖安装3.2 核心模块实现3.3 集成与测试4. 应用示例与代码实现讲解4.1 应用场景介绍4.2 应用实例分析4.3 核心代码实现TTS(Text-to-Speech)合成是数字语音合成技术的一种，其目的是将文本转换为声音。该技术主要用于各种应用场景，如在线教育、语音助手...
音声合成：音高、泛音、谐波、基频 到底是什么概念？
AI拉呱，专注于人工智与网络安全方面的研究，关注一起学习。
03-25 4893
文章目录工具音高基频（基音，fundamental tone）泛音（overtones） == 谐波 （Harmonics）分音 Partials如何看音准？ 工具 Kaldi，虽然非常高效，表现也好，但是忒难用，不灵活，总得改C++代码； PyKaldi，虽然用上了机器学习界宠儿Python，但本质上跟Kaldi还是一回事嘛； PyTorch-Kaldi，虽然灵活了一些，声学模型也易于修改，但是...
audio2mid:音频提取主旋律
AI拉呱，专注于人工智与网络安全方面的研究，关注一起学习。
11-15 3335
文章目录背景知识环境搭建详细代码 背景知识 提取音频中的主旋律,或者更具体的说就是提取音乐中的以基频为主的旋律. 算法文章:https://repositori.upf.edu/handle/10230/42183 可以导出midi文件或者jams格式(txt) 步骤: 旋律提取是从和弦录音中估计旋律的连续基频 (f0) 的任务。 音符分割就是将melodia估算的连续F0曲线分为以系列的量化的音符,每个音符都有开始时间、结束时间和固定音高值。 环境搭建 python:3.66 pip ins
中文XML乐谱数据集助力歌声合成研究.zip
歌声合成（Singing Voice Synthesis, SVS）是一项人工智能技术，它通过模仿人类的歌唱声音来生成旋律。歌声合成技术的进步在音乐制作、娱乐、教育等多个领域具有潜在的应用价值。与传统的电子音乐合成器不同，歌声...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI拉呱

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值