纯Python和PyTorch对比实现softmax及其反向传播

最新推荐文章于 2024-07-12 00:46:55 发布

BrightLampCsdn

最新推荐文章于 2024-07-12 00:46:55 发布

阅读量2.6k

点赞数 3

分类专栏：深度学习编程

本文链接：https://blog.csdn.net/oBrightLamp/article/details/84034658

版权

本文对比介绍了如何使用纯Python和PyTorch两种方式实现softmax激活函数及其对应的反向传播过程，提供了详细的代码示例。同时，文章引用了softmax函数的原理解析和梯度求导说明。

摘要由CSDN通过智能技术生成

摘要

本文使用纯 Python 和 PyTorch 对比实现softmax函数及其反向传播.

正文

import numpy as np
import torch


class Solfmax:
    def __init__(self):
        self.softmax = None
        self.grad = None
        self.dnx = None

    def __call__(self, nx):
        shifted_x = nx - np.max(nx)
        ex = np.exp(shifted_x)
        sum_ex = np.sum(ex)
        self.solfmax