损失函数与反向传播

注意输入和输出的大小

import torch
from torch import nn
from torch.nn import L1Loss

inputs = torch.tensor([1,2,3],dtype=torch.float32)
targets = torch.tensor([1,2,5],dtype=torch.float32)

inputs = torch.reshape(inputs,(1,1,1,3))
targets = torch.reshape(targets,(1,1,1,3))       # 1 batch_size 1 channel 1行3列

# L1LOSS 求平均数
loss = L1Loss()
result = loss(inputs,targets)
print(result)

# MSELOSS 求方差
loss_mse = nn.MSELoss()
result_mse = loss_mse(inputs,targets)
print(result_mse)

# CROSSENTROPYLOSS 交叉熵
x = torch.tensor([0.1,0.2,0.3])
y = torch.tensor([1])
x = torch.reshape(x,(1,3))
loss_cross = nn.CrossEntropyLoss()
result_cross = loss_cross(x,y)
print(result_cross)

1.计算实际输出和目标之间的差距

2.为我们更新输出提供一定的依据(反向传播)(给每一个卷积核的参数提供了一个梯度)

交叉熵的具体应用

               Person,dog , cat                                            target = 1     为class

                0             1       2

预测概率 0.1        0.2      0.3       为x

公式 = -x[class] + ln(  \sum_{j}^{}  exp(x_{j}))

        = -0.2 +log(exp(0.1)+exp(0.2)+exp(0.3))

import torch
import torchvision
from torch import nn
from torch.nn import Conv2d, MaxPool2d, Flatten, Linear, Sequential
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriter

dataset = torchvision.datasets.CIFAR10("./dataset",train=False,transform=torchvision.transforms.ToTensor())
dataloader = DataLoader(dataset,batch_size=64)

class Didi(nn.Module):
    def __init__(self):
        super(Didi, self).__init__()
        self.model1 = Sequential(
            Conv2d(3, 32, 5, padding=2),
            MaxPool2d(2),
            Conv2d(32,32,5,padding=2),
            MaxPool2d(2),
            Conv2d(32,64,5,padding=2),
            MaxPool2d(2),
            Flatten(),
            Linear(1024,64),
            Linear(64,10)
        )

    def forward(self,x):
        x = self.model1(x)
        return x

loss = nn.CrossEntropyLoss()
didi = Didi()
for data in dataloader:
    imgs,targets = data
    outputs = didi(imgs)
    result_loss = loss(outputs,targets)
    print(result_loss)

输出

tensor(2.3074, grad_fn=<NllLossBackward>)              # 神经网络的输出和真实输出的误差
tensor(2.2923, grad_fn=<NllLossBackward>)

梯度

result_loss.backward()           # backward 反向传播 计算出梯度

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值