Less is KEN: a Universal and Simple Non-Parametric Pruning Algorithm for Large Language Models

本文是LLM系列文章，针对《Less is KEN: a Universal and Simple Non-Parametric Pruning Algorithm for Large Language Models》的翻译。

摘要

由于神经网络模型的复杂性及其在各个领域的广泛应用，神经网络修剪变得越来越重要。现有的修剪算法经常受到架构特异性、过度复杂和对复杂计算的依赖等限制，这使得它们在现实世界的应用中不切实际。在本文中，我们提出了KEN：一种基于核密度估计（KDE）的简单、通用和非结构化修剪算法。KEN旨在通过选择性地保留最重要的参数，同时将其他参数恢复到其预训练状态，来构建优化的transformer模型。这种方法保持了模型性能，同时只允许存储优化的子网络ÿ