报告主题：大语言模型的压缩与智能
报告日期：5月17日（周五）10:30-11:30
报告要点：
在这项工作中，我们探讨了大型语言模型（LLMs）的智能与其压缩能力之间的关系。传统观点认为，有效的数据压缩能力是智能的一个重要标志，甚至两者是等价的。我们通过实验研究来探讨语言模型中智能和压缩能力之间的关系，回答一个关键的问题：如果一个语言模型相比于另一个模型能够以无损的方式用更少的比特编码一个文本语料库，这是否表示它具有更高的智能。
通过对30个语言模型和12项基准进行研究，我们发现：模型的压缩能力与其在下游任务的能力高度线性相关。这一发现为压缩与智能之间的关系提供了证据，为使用压缩能力作为模型评测指标提供了依据。
报告嘉宾：
黄裕振，香港科技大学计算机科学与工程系博士生，导师为何俊贤教授。他的研究兴趣主要包括自然语言处理和机器学习，目前从事模型评估相关工作。本科毕业于上海交通大学计算机系。
扫码报名
近期热门报告
、
20
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
