小土堆的损失函数和反向传播学习笔记

视频中提到的三个损失函数的测试

import torch
from torch.nn import L1Loss,MSELoss
"""
测试L1Loss
L1loss实例化之后，第一个参数是正向传播的结果，第二个数据是正解
计算公式是,正向传播向量的每一个元素和正解向量的每一个元素相减求绝对值，然后将绝对值相加除去拥有向量的个数
若实例化时这么写loss=L1Loss(reduction="sum")，添加了参数，reduction="sum"（求和），此外参数可以改成mean求均值，不写默认均值
那么计算结果是正向传播向量的每一个元素和正解向量的每一个元素相减求绝对值，然后将绝对值相加，并不会除去个数
"""
input=torch.tensor([1,2,3],dtype=torch.float)
authortic=torch.tensor([1,2,5],dtype=torch.float)
#以后使用数据最好都变成浮点型，reshape成四维的
input=torch.reshape(input,(1,1,1,3))
authortic=torch.reshape(authortic,(1,1,1,3))
loss=L1Loss()
outcome=loss(input,authortic)
print(outcome)
#运行结果tensor(0.6667)

"""
测试MSELoss()，这里实例化以后的参数和L1Loss是一样的，
计算的公式是正解的元素和正向传播的元素的差相加求和，然后对求的和平方除去元素个数，标准差
"""
MyMse=MSELoss()
output=MyMse(input,authortic)
print(output)
#运行结果tensor(1.3333)
"""
测试交叉熵
CrossEntropyLoss,要求输入一个向量（正向传播结果，自动变成概率）和一个列表（索引的标签）
x表示的是概率是a，b，c三个事情的概率分别为0.1，0.2，0.3
y是指标签，指的是列表索引，索引出x中对应的概率（也就是b的概率）
这里的计算是：loss=-0.2+{ln[exp(0.1)]+ln[exp(0.2)]+ln[exp(0.3)]}
"""
from torch.nn import CrossEntropyLoss
x=torch.tensor([0.1,0.2,0.3])#三个概率，表示为是三个事物的概率
y=torch.tensor([1])#这个是标签，表示正解的类别
x=torch.reshape(x,(1,3))#这里的1是指batch_size,3是指类别
loss_close=CrossEntropyLoss()
loss=loss_close(x,y)
print(loss)
#运行结果tensor(1.1019)

交叉熵有点难理解这里附上它的公式

交叉熵利用pytorch自带的测试数据的小土堆视频的代码复现

import torchvision
from torchvision import datasets
from torch.utils.data import DataLoader
from torch.nn import CrossEntropyLoss
from torch.nn import Module, Sequential
from torch.nn import Conv2d,Linear,MaxPool2d,Flatten
from torch.utils.tensorboard import SummaryWriter
class MySquential(Module):
    def __init__(self):
        super(MySquential, self).__init__()
        #sequential类似于transformers中的compose，将所有的层整合在一起
        self.sequential=Sequential(
            Conv2d(3,32,5,padding=2),#这里的padding需要计算，去pytorch官网找到那个公式代入计算一下
            MaxPool2d(2),
            Conv2d(32,32,5,padding=2),
            MaxPool2d(2),
            Conv2d(32, 64, 5, padding=2),
            MaxPool2d(2),
            Flatten(),#将一个矩阵展平
            Linear(1024,64),
            Linear(64,10)
        )

    def forward(self, input):
        output = self.sequential(input)
        return output
"""
先用5核卷积，再用2核池化，持续三次，将特征展平，线性化两次，得到十个结果
"""

t=torchvision.transforms.ToTensor()
data=datasets.CIFAR10(root="./dataset_load",train=False,transform=t,download=True)
datas=DataLoader(dataset=data,batch_size=1,shuffle=True,num_workers=0,drop_last=True)
m=MySquential()
loss=CrossEntropyLoss()
for i in datas:
    img,target=i
    output = m(img)#一张图经过了各种层变成了10个元素的向量
    result_loss=loss(output,target)#放入卷积后的图像特征，然后放入正解的类别,得到误差
    result_loss.backward()#有了损失结果才能做梯度下降，优化神经参数，——————————这里打个断点————————
    print("ok")

我们要在最后一行的 result_loss.backward()这里打个断点，观察是否在单步运行前后有grad值出现

没点单步运行前，在自己命名的神经网路类中，找到第一个卷积层的module，找到weight点开有个grad，发现grad的值为none，没有grad值产生

 但是我们单步运行下一行以后再去找一下，就会发先grad的值不再是none了，这说明已经计算了梯度