超级会员免费看
本文旨在从零创建一个基于Python和NumPy的深度学习框架，类似PyTorch，实现自动求导。在现有计算图基础上，针对单输入多输出运算的问题，文章详细介绍了如何重写Tensor的backward方法、Function类以及Function子类，以支持多个输出的梯度计算，并优化内存利用。此外，提供了一个测试用例展示了反向传播的正确性。
引言
本着“凡我不能创造的，我就不能理解”的思想，本系列文章会基于纯Python以及NumPy从零创建自己的深度学习框架，该框架类似PyTorch能实现自动求导。
💡系列文章完整目录： 👉点此👈
要深入理解深度学习，从零开始创建的经验非常重要，从自己可以理解的角度出发，尽量不适用外部框架的前提下，实现我们想要的模型。本系列文章的宗旨就是通过这样的过程，让大家切实掌握深度学习底层实现，而不是仅做一个调包侠。
基于之前的计算图代码，在实现类似torch.unbind时遇到了问题。因此，我们需要重写计算图的支撑代码，以支持这些运算。
存在的问题
在实现有单个输入产生多个输出的运算时，比如unbind或split。我们分别对多个输出后续进行不同的运算，在反向传播时，它们的梯度应该不同。
此时在反向传播时，应该传入一个梯度列表，每个元素代表由每个输出贡献的梯度。现有的代码只接收单个梯度，而不是列表。
重写Tensor#backward
def
订阅专栏 解锁全文
扫一扫
811
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
