相关博客:
https://blog.csdn.net/wz22881916/article/details/81054036
https://blog.csdn.net/sweetseven_/article/details/96026706
https://www.cnblogs.com/vincent1997/p/10896299.html
详细的GPU显存占用可以看上面几篇博客,为了方便记忆抽取了其中一段介绍:
正常来讲,显存的占用主要是Model本身和每一层的output。
计算方式为: