Python和PyTorch对比实现ReLU函数及反向传播

摘要

本文使用纯 Python 和 PyTorch 对比实现 ReLU 函数及其反向传播.

相关

原理和详细解释, 请参考文章 :

ReLU函数详解及反向传播中的梯度求导

系列文章索引 :
https://blog.csdn.net/oBrightLamp/article/details/85067981

正文

import torch
import numpy as np


class Relu:
    """
    http://cs231n.github.io/
    """

    def __init__(self):
        self.x = None

    def __call__(self, x):
        self.x = x
        # Must use copy in numpy to avoid pass by reference.
        out = self.x