AMiner推荐论文：A Survey on Green Deep Learning

论文链接：
https://www.aminer.cn/pub/618b38575244ab9dcb710ee4?f=cs
近年来，更大、更深度的模型层出不穷，并不断推动各种领域(如自然语言处理(NLP)和计算机视觉(CV))的最先进(SOTA)结果。然而，尽管有很好的结果，但需要注意的是，SOTA模型所需的计算是以指数速度增长的。大规模计算不仅会产生惊人的巨大碳足迹，而且还会对研究的包容性和现实应用的部署产生负面影响。绿色深度学习是一个日益热门的研究领域，呼吁研究者关注模型训练和推理过程中的能源使用和碳排放问题。目标是用轻量化和高效的技术产生新的结果。许多技术可以用来实现这一目标，如模型压缩和知识蒸馏。本文对绿色深度学习技术的发展进行了系统的综述。我们将这些方法分为四类:(1)紧凑的网络，(2)高效的训练策略，(3)高效的推理方法，(4)高效的数据使用。对于每一类，我们都讨论已经取得的进展和尚未解决的挑战。
AMiner,让AI帮你理解科学！https://www.aminer.cn