计算能量消耗：神经网络（Neural Network）分析——CNN、RNN、Transformers 模型的计算能量消耗量化评估

作者：禅与计算机程序设计艺术

1.简介

2021年AI技术的高速发展已经给人们生活带来了无限可能。但是伴随着技术的进步，同时也引起了环境问题和健康问题。其中，能源消耗问题更是难以回避。为了让AI技术能够更好的发挥作用，如何降低其能源消耗是一个重要课题。为此，作者从三个方面对神经网络（Neural Network）进行了分析——CNN、RNN、Transformers。通过研究不同模型的计算能量消耗，作者对计算能源消耗进行了量化评估。并且分析了人类与机器学习模型之间的差异，提出了针对性的解决方案。最后还根据近些年的研究成果，将计算能源消耗纳入到智能电网、智能城市等领域的规划中。
作者简介：刘洪威，中文名潘鹏宇，清华大学计算机系博士，任职于英特尔。对多模态信息处理、神经网络算法以及计算能源消耗等领域均有丰富的研究及应用经验。

2. 基本概念术语说明

2.1 神经网络(Neural Network)

神经网络（Neural Network），又称多层神经元网络，由多个相互连接的神经元组成。每个神经元都接收上一层的所有信号并产生一组新的信号传给下一层，形成一个信息传递系统。神经网络可以接受复杂的输入数据，通过复杂的计算过程转换为输出结果。