![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Pytorch
文章平均质量分 65
马可露露
人生苦短,我只看帅哥
展开
-
激活函数Activation:torch.sigmoid() 和 torch.nn.Sigmoid()
torch.sigmoid()torch.nn.Sigmoid()CODEtorch.sigmoid()import torcha = torch.randn(4)print(a)print(torch.sigmoid(a))tensor([ 1.2622, -0.3935, -0.0859, 1.0130])tensor([0.7794, 0.4029, 0.4785, 0.7336])torch.nn.Sigmoid()import torcha = torch原创 2021-11-26 15:04:15 · 1780 阅读 · 0 评论 -
torch.nn.MSELoss() 均方损失函数
表达式这里 loss, x, y 的维度是一样的,可以是向量或者矩阵,i 是下标。很多的 loss 函数都有 size_average 和 reduce 两个布尔类型的参数。因为一般损失函数都是直接计算 batch 的数据,因此返回的 loss 结果都是维度为 (batch_size, ) 的向量。a)如果 reduce = False,那么 size_average 参数失效,直接返回向量形式的 lossb)如果 reduce = True,那么 loss 返回的是标量a)reductio原创 2021-11-26 18:30:00 · 2380 阅读 · 1 评论 -
pytorch——kl_divergence()
中的kl divergence计算问题kl divergence 介绍KL散度( Kullback–Leibler divergence),又称相对熵,是描述两个概率分布 P 和 Q 差异的一种方法。计算公式:可以发现,P 和 Q 中元素的个数不用相等,只需要两个分布中的离散元素一致。举个简单例子:两个离散分布分布分别为 P 和 QP 的分布为:{1,1,2,2,3}Q 的分布为:{1,1,1,1,1,2,3,3,3,3}我们发现,虽然两个分布中元素个数不相同,P 的元素个数为 5,Q 的原创 2021-11-22 15:26:31 · 1529 阅读 · 0 评论 -
Pytorch_6 损失函数、反向传播、torch.optim
学习目标:损失函数损失函数的输入是一个输入的pair: (output, target), 然后计算出一个数值来评估output和target之间的差距大小.在torch.nn中有若干不同的损失函数可供使用, 比如nn.MSELoss就是通过计算均方差损失来评估输入和目标值之间的差距.反向传播(backpropagation)在Pytorch中执行反向传播非常简便, 全部的操作就是loss.backward().在执行反向传播之前, 要先将梯度清零, 否则梯度会在不同的批次数据之间被累加。更新原创 2021-06-21 08:52:17 · 711 阅读 · 1 评论 -
Pytorch_5 构建神经网络
构建神经网络学习目标掌握用Pytorch构建神经网络的基本流程.掌握用Pytorch构建神经网络的实现过程.关于torch.nn:使用Pytorch来构建神经网络, 主要的工具都在torch.nn包中.nn依赖于autograd来定义模型, 并对其自动求导构建神经网络的典型流程:定义一个拥有可学习参数的神经网络遍历训练数据集处理输入数据使其流经神经网络计算损失值将网络参数的梯度进行反向传播以一定的规则更新网络的权重定义一个Pytorch实现的神经网络:import torch原创 2021-06-20 22:39:05 · 285 阅读 · 1 评论