头歌——机器、深度学习——常用损失函数的实现

小何爱编程2024

已于 2024-06-15 21:23:53 修改

阅读量2.5k

点赞数 54

分类专栏：头歌深度学习机器学习文章标签：深度学习人工智能机器学习 python

于 2024-06-15 21:20:37 首次发布

本文链接：https://blog.csdn.net/absths/article/details/139708682

版权

机器学习同时被 3 个专栏收录

18 篇文章 1 订阅

订阅专栏

头歌

17 篇文章 0 订阅

订阅专栏

深度学习

11 篇文章 0 订阅

订阅专栏

第1关：实现常见损失函数的前向传播

任务描述

本关任务：实现常见损失函数的前向传播。

编程要求

根据提示，在右侧编辑器 Begin 和 End 之间补充代码，实现上述损失函数。

测试说明

平台会对你编写的代码进行测试，测试方法为：平台会随机产生输入x/y和目标t，然后根据你的实现代码，创建一个SoftmaxWithLoss/MeanSquaredError类的实例，然后利用该实例进行前向传播计算。你的答案将并与标准答案进行比较。因为浮点数的计算可能会有误差，因此只要你的答案与标准答案之间的误差不超过10−5即可。

开始你的任务吧，祝你成功！

第一关任务代码

import numpy as np
 
 
def softmax(x):
    x = x - np.max(x, axis=1, keepdims=True)
    return np.exp(x) / np.sum(np.exp(x), axis=1, keepdims=True)
 
 
class SoftmaxWithLoss:
    def __init__(self):
        self.loss = None
 
    def forward(self, x, t):
        r'''
        SoftMax + Cross Entropy的前向传播
        Parameter:
        - x: numpy.array, (B, C)
        - t: numpy.array, (B)
        Return:
        - loss: float
        '''
        ########## Begin ##########
        y = softmax(x)  
        batch_size = y.shape[0]  
        # 为了避免log计算的时候y太小，所以加一个1e-7来避免算数错误  
        loss = -np.sum(np.log(y[np.arange(batch_size), t] + 1e-7)) / batch_size  
        self.loss = loss  
        return loss  
        ########## End ##########
 
 
class MeanSquaredError:
    def __init__(self):
        self.loss = None
 
    def forward(self, y, t):
        r'''
        Mean Squared Error的前向传播
        Parameter:
        - y: numpy.array, (B, N)
        - t: numpy.array, (B, N)
        Return:
        - loss: float
        '''
        ########## Begin ##########
        loss = 0.5 * np.sum((y - t) ** 2)  
        self.loss = loss  
        return loss  
        ########## End ##########

第2关：实现常见损失函数的反向传播

任务描述

本关任务：实现常见损失函数的反向传播。

编程要求

根据提示，在右侧编辑器 Begin 和 End 之间补充代码，实现上述损失函数。

测试说明

平台会对你编写的代码进行测试，测试方法为：平台会随机产生输入x/y和目标t，然后根据你的实现代码，创建一个SoftmaxWithLoss/MeanSquaredError类的实例，然后利用该实例先进行前向传播计算，在进行反向传播计算。你的答案将并与标准答案进行比较。因为浮点数的计算可能会有误差，因此只要你的答案与标准答案之间的误差不超过10−5即可。

开始你的任务吧，祝你成功！

第二关任务代码

import numpy as np
 
 
def softmax(x):
    x = x - np.max(x, axis=1, keepdims=True)
    return np.exp(x) / np.sum(np.exp(x), axis=1, keepdims=True)
 
 
class SoftmaxWithLoss:
    def __init__(self):
        self.loss = None
        self.y = None
        self.t = None
 
    def forward(self, x, t):
        r'''
        SoftMax + Cross Entropy的前向传播
        Parameter:
        - x: numpy.array, (B, C)
        - t: numpy.array, (B)
        Return:
        - loss: float
        '''
        y = softmax(x)
        batch_size = y.shape[0]
        loss = -np.sum(np.log(y[np.arange(batch_size), t] + 1e-7)) / batch_size
        self.loss = loss
        self.y = y
        self.t = t
        return loss
 
    def backward(self):
        r'''
        SoftMax + Cross Entropy的反向传播
        Return:
        - dx: numpy.array, (B, C)
        '''
        ########## Begin ##########
        batch_size = self.t.shape[0]  
        dx = self.y.copy()  
        dx[np.arange(batch_size), self.t] -= 1  
        dx = dx / batch_size  
        return dx  
        ########## End ##########
 
 
class MeanSquaredError:
    def __init__(self):
        self.loss = None
        self.y = None
        self.t = None
 
    def forward(self, y, t):
        r'''
        Mean Squared Error的前向传播
        Parameter:
        - y: numpy.array, (B, N)
        - t: numpy.array, (B, N)
        Return:
        - loss: float
        '''
        loss = 0.5 * np.sum((y - t) ** 2)
        self.loss = loss
        self.y = y
        self.t = t
        return loss
 
    def backward(self):
        r'''
        Mean Squared Error的反向传播
        Return:
        - dy: numpy.array, (B, N)
        '''
        ########## Begin ##########
        y_grad = self.y - self.t  
        return y_grad
        ########## End ##########