SongComposer: A Large Language Model for Lyric and Melody Composition in Song Generation-CSDN博客

本文链接：https://blog.csdn.net/c_cpp_csharp/article/details/136525475

SongComposer是一个创新的大型语言模型，专为歌曲的歌词和旋律创作设计。它采用象征性歌曲表示，优于将音乐视为音频信号的现有模型，提供了更高效和灵活的音乐创作方式。SongComposer在多项任务上表现出色，超越了GPT-4等高级模型，有望推动LLM在音乐领域的应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文是LLM系列文章，针对《SongComposer: A Large Language Model for Lyric and Melody Composition in Song Generation》的翻译。

摘要

我们介绍SongComposer，一个为歌曲创作而设计的创新LLM。通过利用LLM的功能，它可以理解并生成符号歌曲表示中的旋律和歌词。现有的与音乐相关的LLM将音乐视为量化的音频信号，而这种隐式编码导致低效的编码和较差的灵活性。相比之下，我们采用象征性的歌曲表现，这是人类为音乐设计的成熟而有效的方式，并使LLM能够像人类一样明确地创作歌曲。在实践中，我们设计了一种新颖的元组设计来格式化旋律中的歌词和三个音符属性（音高、持续时间和休息持续时间），这保证了对音乐符号的正确LLM理解，并实现了歌词和旋律之间的精确对齐。为了给LLM提供基本的音乐理解，我们仔细收集了SongCompose PT，这是一个大规模的歌曲预训练数据集，包括中文或英文的歌词、旋律和成对的歌词旋律。经过充分的预训练后，使用10k精心制作的QA对来增强LLM的指令跟随能力，并解决各种任务。通过大量的实验，SongComposer在歌词到旋律生成、旋律到歌词生成、歌曲延续和文本到歌曲创作，优于GPT-4等高级LLM。我们在