Green AI: Exploring Carbon Footprints, Mitigation Strategies, and Trade Offs in Large Language Model

本文是LLM系列文章，针对《Green AI: Exploring Carbon Footprints, Mitigation Strategies, and Trade Offs in Large Language Model Training》的翻译。

摘要

自然语言处理领域的杰出工作长期以来一直试图通过改进以前的模型训练方法、改变模型架构和开发更深入的数据集来创建新的创新模型，以提高其性能。然而，随着NLP领域的快速发展，温室气体排放量也在增加，这引发了人们对训练LLMs造成的环境破坏的担忧。全面了解与人工智能相关的各种成本，特别是与环境方面相关的成本，是确保人工智能模型安全的基础。目前，对人工智能模型的二氧化碳排放的研究仍然是一个新兴的研究领域，因此，在本文中，我们评估了著名的大型语言模型的二氧化碳减排情况，这些模型由于其大量的模型参数而具有特别高的碳足迹。我们主张通过提出减少碳排放的措施，以负责任和可持续的方式训练LLM。此外，我们通过对比两个广泛使用的GPU在模型训练期间的二氧化碳排放量，讨论了硬件的选择如何影响二氧化碳排放。基于我们的研究结果，我们介绍了我们提出的解决方案的优缺点，并论证了在不牺牲其鲁棒性和性能的情况下训练更环保的人工智能模型的可能性。

1 引言

2 相关工作

3 实验设置

4 结果与讨论

5 结论

通过实施简单而有效的策略，例如使用更轻的模型和更快的GPU，我们可以在不损害模型鲁棒性和性能的情况下显著降低模型的二氧化碳排放。这样做会带来某些缺点，例如需要为更好的GPU分配