损失函数和反向传播

一、损失函数的意义

具体例子:
如在一场考试,各题型满分为target,而实际考得分数是output,Loss则是实际与目标之间的差距
在这里插入图片描述

二、L1Loss函数

nn.L1Loss 用于计算预测值和真实值之间的平均绝对误差

L1损失函数的公式可以表示为:在这里插入图片描述
其中,x 是模型的输出,y 是真实值,n 是样本数量。

如:
在这里插入图片描述
用pycharm进行L1Loss函数演示:

import torch
from torch.nn import L1Loss
inputs = torch.tensor([1, 2, 3])
targets = torch.tensor([1, 2, 3])

inputs = torch.reshape(inputs, (1, 1, 1, 3))
targets = torch.reshape(targets, (1, 1, 1, 3))

loss = L1Loss()
result = loss(inputs, targets)
print(result)

如果发生Got:Long报错:RuntimeError: mean(): could not infer output dtype. Input dtype must be either a floating point or complex dtype. Got: Long
就说明代码中的输入数被识别成了整数型,需要进行浮点数调整:

inputs = torch.tensor([1, 2, 3], dtype=torch.float32)
targets = torch.tensor([1, 2, 3], dtype=torch.float32)

修改后输出结果:
在这里插入图片描述
看到与我们计算得到的结果相同。

其中reshape中数字意义:
第一个 1 代表批处理大小(batch size),这里只有一组数据。
第二个 1 代表通道数量(channel),例如在图像处理中 RGB 三通道,这里只有一个通道。
第三个 1 是额外的维度,用于某些特定的网络结构。
最后的 3 表示数据点的数量,这里是三个元素【1 , 2,3】。

求损失的总和:
修改L1Loss中的参数

loss = L1Loss(reduction="sum")

运行结果:
在这里插入图片描述
损失总和:(1-1)+(2-2)+(5-3)=2

三、MSELOSS函数:求均方差

import torch
from torch.nn import L1Loss
from torch import nn
inputs = torch.tensor([1, 2, 3], dtype=torch.float32)
targets = torch.tensor([1, 2, 5], dtype=torch.float32)


inputs = torch.reshape(inputs, (1, 1, 1, 3))
targets = torch.reshape(targets, (1, 1, 1, 3))

loss = L1Loss(reduction="sum")
result = loss(inputs, targets)

loss_mse = nn.MSELoss()
result_mse = loss_mse(inputs, targets)

print(result_mse)

运算结果:
在这里插入图片描述
均方差计算:MSE = (0 + 0 + 2^2)/3 = 4/3 = 1.333

四、交叉熵

交叉熵是专门用来解决多分类问题的,当-log(x)中的x取值范围是0-1,那么当x越大,损失也就越小,也就是命中概率大,损失小

计算公式:
在这里插入图片描述

假设代码预测图中是狗,计算得到第0号person为0.1,第1号dog为0.2,第2号cat为0.3,那么电脑预测是猫的概率更大,也就是说误差损失大。目标要是1,也就是class的值应该设置为1。

import torch

from torch import nn

x = torch.tensor([0.1, 0.2, 0.3])
y = torch.tensor([1])
x = torch.reshape(x,(1, 3))
loss_cross = nn.CrossEntropyLoss()
result_cross = loss_cross(x, y)
print(result_cross)

运算结果:
在这里插入图片描述
在该代码中,log其实代表着ln,也就是运算式子: -0.2 + ln( exp(0.1)) + exp(0.2) + exp(0.3) ) = 1.1019
说明运算结果正确

在神经网络中用交叉熵进行体现:

import torch
import torchvision
from torch import nn
from torch.nn import Conv2d, MaxPool2d, Flatten, Linear, Sequential
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriter

dataset = torchvision.datasets.CIFAR10("../data", train=False, transform=torchvision.transforms.ToTensor(), download= True)
dataloader = DataLoader (dataset, batch_size = 1)
class Sen(nn.Module):
    def __init__(self):
        super(Sen,self).__init__()
        self.model1 = Sequential(
            Conv2d(3, 32, 5, 1, 2),
            MaxPool2d(2),
            Conv2d(32, 32, 5, padding=2),
            MaxPool2d(2),
            Conv2d(32, 64, 5, padding=2),
            MaxPool2d(2),
            Flatten(),
            Linear(1024, 64),
            Linear(64, 10)
        )

    def forward(self, x):
        x = self.model1(x)
        return x
        
sen = Sen()

for data in dataloader:
    imgs, tatgets = data
    outputs = sen(imgs)
    print(outputs)
    print(tatgets)

运行得到的结果:
在这里插入图片描述
这里的-0.0478, 0.0761 等等的就是预测概率,跟上面的0.1, 0.2,0.3一样

计算神经网络输出和真正输出之间的误差:

loss = nn.CrossEntropyLoss()
sen = Sen()

for data in dataloader:
    imgs, tatgets = data
    outputs = sen(imgs)
    result_loss = loss(outputs, tatgets)
    print(result_loss)

运行结果:
在这里插入图片描述
这些数字就是神经网络输出和真正输出之间的误差。

反向传播 :根据梯度下降(gradient descent)进行优化,最终得到loss降低的目的
在这里插入图片描述

loss = nn.CrossEntropyLoss()
sen = Sen()

for data in dataloader:
    imgs, tatgets = data
    outputs = sen(imgs)
    result_loss = loss(outputs, tatgets)
    #向后传播
    result_loss.backward()
    print("ok")

result_loss.backward()打上断点:
在这里插入图片描述

使用debug观察数据特性:

点击小虫子,运行结束后,出现各个变量;

选择自己搭建的神经网络;

选择Module;

选择私密属性;

选择modules;

点进变量去;

可以查看到grad=None
在这里插入图片描述

按往下运算一行代码按钮:
在这里插入图片描述

往断点运算一下:
在这里插入图片描述
发现成功运算出梯度。
我们利用这些梯度值,就可以进行优化。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值