从塔楼到尖顶：一次语音魔法的奇幻旅程

当科技与语言交相辉映，当文本与语音在大语言模型中共舞，我们便迎来了一个全新的时代。本文带您走进SPIRE的世界——一个从纯文本LLM（大语言模型）进化而来的多模态奇迹，通过引入离散语音单元（DSU），使得模型不仅精通翻译，更能准确识别和转换语音。下面，让我们用轻松幽默的笔触来细诉这一激动人心的旅程，探索这座由TOWER到SPIRE的高塔构筑，如何在语音与文本间架起一座坚实的桥梁。

---

🌍 开篇序曲：从文本王国到多模态领域

曾几何时，文本世界是一座巍峨的塔楼——TOWER。它以惊人的性能和卓越的翻译能力征服了多个语言、多个任务。然而，随着图像、语音等多模态数据的不断涌入，大语言模型（LLM）的潜力被进一步激发，学者们迫切希望在这座塔楼之上加建新的“尖顶”，赋予模型多模态处理能力。SPIRE正是在这样的构想下诞生的。

大语言模型因其卓越的语言理解和生成能力而大受青睐，无论是Achiam等人（2023）还是Touvron等人（2023）都曾展示其跨语言、跨任务的奇妙能力。与此同时，多模态大模型陆续崛起：从能够处理图像、视频到语音、音频，每一种模态都为模型增添了一分魔力。SPIRE构思的魅力在于，如何在不破坏TOWER既有的翻译天赋前提下，把额外的语音处