Pytorch学习笔记
xLyons
小小研究生一枚,研究方向为推荐系统...
展开
-
Pytorch中归一函数LogSoftMax-SoftMax,损失函数NLLLoss-CrossEntropyLoss的关系
转载:Pytorch常用的交叉熵损失函数CrossEntropyLoss()详解简单概括一下:当神经网络输出没有作归一化(softmax计算)处理OupPut后, 计算logsoftmax_output = nn.LogSoftMax(output)函数LogSoftMax和softmax的关系为:nn.LogSoftMax(output)= torch.log(nn.softmax(output))什么是NLLLoss损失函数:比如真实标签是label = tensor([1, 2, 0原创 2020-12-10 12:56:28 · 666 阅读 · 0 评论 -
通过Pytorch搭建网络以及初始化参数
前言:关于torch.nntorch.nn包含了大量的函数及类,如nn.Linear(); nn.ReLU()等等,如想了解nn构造块包含了哪些函数,文档可参考:torch.nn.一、通过nn.Module搭建模型方式1:直接继承torch.nn.Modulenn.Module的nn模块提供了模型构造类,你可以通过继承它来搭建你自己的网络层。torch.nn.Module 这个类的内部有多达 48 个函数,这个类是 PyTorch 中所有 neural network module的基类,可以通过继原创 2020-11-14 16:09:30 · 3004 阅读 · 0 评论