y94688的博客

大型语言模型 (LLM) 彻底改变了自然语言处理任务，取得了巨大的成功。然而，它们巨大的规模和计算需求给实际部署带来了巨大的挑战，特别是在资源有限的环境中。随着这些挑战变得越来越重要，模型压缩领域已成为缓解这些限制的关键研究领域。本文提出了一项全面的调查，探讨了专为LLMs量身定制的模型压缩技术的前景。为了满足高效部署的迫切需求，我们深入研究了各种方法，包括量化、修剪、知识蒸馏等。在这些技术中，我们重点介绍了有助于LLMs研究不断发展的最新进展和创新方法。

迁移学习已被证明是提高低资源神经机器翻译（NMT）性能的一种有效技术。通常通过对预训练的父模型进行微调或在子模型的训练过程中利用父模型的输出来实现。然而，这些方法在子模型的推理过程中没有利用父模型的知识，可能限制了翻译性能。在本文中，我们提出了一种k最近邻迁移学习（kNN-TL）方法用于低资源NMT，该方法在整个子模型的开发过程中利用了父模型的知识。我们的方法包括一种父子表示对齐方法，确保两个模型之间的输出表示一致，以及一种基于子模型相关性选择性地提取父数据存储库的方法，从而提高推理效率。