本文是LLM系列文章,针对《LLASM: LARGE LANGUAGE AND SPEECH MODEL》的翻译。
摘要
近年来,多模态大型语言模型引起了人们的极大兴趣。尽管如此,大多数工作都集中在视觉语言多模态模型上,该模型在遵循视觉和语言指令方面提供了强大的能力。然而,我们声称言语也是人类与世界互动的一种重要方式。因此,对于通用助理来说,能够遵循多模态语音和语言指令是至关重要的。在这项工作中,我们提出了大型语言和语音模型(LLaSM)。LLaSM是一个端到端训练的大型多模态语音语言模型,具有跨模态会话能力,能够遵循语音和语言指令。我们早期的实验表明,LLaSM为人类与人工智能交互提供了一种更方便、更自然的方式。具体来说,我们还发布了一个大型语音指令跟随数据集LLaSM音频指令。代码和演示在https://github.com/LinkSoul-AI/LLaSM和https://huggingface.co/spaces/LinkSoul/LLaSM可用。LLaSM音频指令数据集在https://huggingface.co/datasets/LinkSoul/LLaSM-Audio-Instructions可用.