摘要
本文使用纯 Python 和 PyTorch 对比实现 ReLU 函数及其反向传播.
相关
原理和详细解释, 请参考文章 :
ReLU函数详解及反向传播中的梯度求导
系列文章索引 :
https://blog.csdn.net/oBrightLamp/article/details/85067981
正文
import torch
import numpy as np
class Relu:
"""
http://cs231n.github.io/
"""
def __init__(self):
self.x = None
def __call__(self, x):
self.x = x
# Must use copy in numpy to avoid pass by reference.
out = self.x