Neural Networks (CCF-B) 特刊征稿：大语言模型时代的模型压缩

简介

大语言模型（LLMs）作为基于神经网络的大规模预训练统计语言模型系列，在自然语言处理、多智能体系统和多模态AI等多个领域取得了显著成功。由于应用场景广泛，LLMs 面临显著的效率挑战。直接在个人电脑和智能手机等边缘设备上部署拥有数十亿参数的LLMs几乎是不可能的。这些场景为LLMs时代的模型压缩研究提供了强大动力，例如模型量化、稀疏化和蒸馏，可以降低计算成本并加速推理。

然而，仍有若干挑战阻碍了LLMs压缩方法的广泛实际应用。首先，现有的LLMs压缩算法往往会导致不可避免的性能下降甚至失败，尤其是在极端压缩条件下（如1~2位宽量化）或较小规模模型（参数少于30亿的LLMs）时。这导致压缩后的LLMs难以在实际任务中表现良好。其次，压缩LLMs的硬件部署支持仍然有限，使得在常用的GPU和各种边缘设备（如CPU、FPGA等）上实现所提出的内存节省和计算加速变得具有挑战性。因此，LLMs压缩方法所声称的效率提升在许多硬件中难以实现。第三，训练和微调LLMs所需的数据资源并非总是可以获得的，并且在压缩过程中还需要大量的计算资源。

因此，包括训练后压缩和压缩感知训练/微调LLMs在内的高效LLMs方法的可重复性难以持续保证。考虑到这些方面，实用的LLMs压缩仍有很长的路要走。因此，LLMs压缩应考虑以下方面，包括预测准确性、计算效率、硬件部署和在各种场景中的可重复性。在本期特刊中，我们旨在汇集来自这些领域的研究人员，以解决开放和迫切的挑战，进一步构建准确、高效和可重复的LLMs压缩算法和系统。请注意，作为学术期刊，Neural Networks鼓励发表可重复的研究成果。提交到本期特刊的论文应主要基于可访问（开放）数据资源，并具有可靠的可重复性。本期特刊欢迎与以下（但不限于）主题相关的研究贡献：

• LLMs的低位量化

• LLMs的知识蒸馏

• LLMs的稀疏化和剪枝

• 专家混合的稀疏化

• LLMs的高效神经架构搜索

• LLMs的低秩近似和分解

• 资源受限硬件和系统的LLMs压缩

• 具有高可重复性的LLMs压缩流程和框架

• 联邦学习用于LLMs压缩

• 边缘处理器上的微型压缩LLMs

• 高效LLMs的硬件推理库

• 增强生成的高效LLMs

• LLMs压缩的基准测试、综述和理论/实证研究

特刊介绍：

https://www.sciencedirect.com/journal/neural-networks/about/call-for-papers

稿件提交信息

稿件提交截止：2024年10月1日

初审：2025年1月1日

修订提交截止：2025年3月1日

最终决定：2025年6月1日

预定出版日期：2025年7月1日 

Neural Networks是CCF-B类国际学术期刊，专注于神经网络及相关领域的前沿研究。Neural Networks鼓励高质量、可重复的科研成果。 

有意向的作者应遵循Neural Networks的标准作者指南，并在线提交稿件，网址为：https://www.editorialmanager.com/neunet。 

作者必须在“文章类型”步骤中选择“VSI: LLM Compression”。请参考作者指南：https://www.elsevier.com/journals/neural-networks/0893-6080/guide-for-authors 以准备稿件。 

如需进一步信息，请联系特刊编辑。

特刊编辑

Prof. Dr. Xianglong Liu (执行特刊编辑) 

Beihang University，北京，中国 

Email: xlliu@buaa.edu.cn

PD. Dr. Michele Magno 

ETH Zürich，苏黎世，瑞士 

Email: michele.magno@pbl.ee.ethz.ch

Dr. Haotong Qin 

ETH Zürich，苏黎世，瑞士 

Email: haotong.qin@pbl.ee.ethz.ch

Dr. Ruihao Gong 

SenseTime Research，香港，中国 

Email: gongruihao@sensetime.com

Prof. Dr. Tianlong Chen 

UNC Chapel Hill，教堂山，美国 

Email: tianlong@cs.unc.edu

Prof. Dr. Beidi Chen 

Carnegie Mellon University，匹兹堡，美国 

Email: beidic@andrew.cmu.edu

关键词

1. 大语言模型

2. 模型压缩

3. 高效深度学习

4. 生成AI

5. 硬件加速

6. 微型机器学习

#投 稿 通 道#

 让你的文字被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。

📝 稿件基本要求：

• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注 

• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题

• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算

📬 投稿通道：

• 投稿邮箱：hr@paperweekly.site 

• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿

△长按添加PaperWeekly小编

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

·