qq_28117589的博客

torch.sigmoid() torch.nn.Sigmoid() CODE torch.sigmoid() import torch a = torch.randn(4) print(a) print(torch.sigmoid(a)) tensor([ 1.2622, -0.3935, -0.0859, 1.0130]) tensor([0.7794, 0.4029, 0.4785, 0.7336]) torch.nn.Sigmoid() import torch a = torch

表达式 这里 loss, x, y 的维度是一样的，可以是向量或者矩阵，i 是下标。 很多的 loss 函数都有 size_average 和 reduce 两个布尔类型的参数。 因为一般损失函数都是直接计算 batch 的数据，因此返回的 loss 结果都是维度为 (batch_size, ) 的向量。 a)如果 reduce = False，那么 size_average 参数失效，直接返回向量形式的 loss b)如果 reduce = True，那么 loss 返回的是标量 a)reductio

中的kl divergence计算问题 kl divergence 介绍 KL散度( Kullback–Leibler divergence)，又称相对熵，是描述两个概率分布 P 和 Q 差异的一种方法。计算公式: 可以发现，P 和 Q 中元素的个数不用相等，只需要两个分布中的离散元素一致。 举个简单例子： 两个离散分布分布分别为 P 和 Q P 的分布为：{1，1，2，2，3} Q 的分布为：{1，1，1，1，1，2，3，3，3，3} 我们发现，虽然两个分布中元素个数不相同，P 的元素个数为 5，Q 的

学习目标： 损失函数 损失函数的输入是一个输入的pair: (output, target), 然后计算出一个数值来评估output和target之间的差距大小. 在torch.nn中有若干不同的损失函数可供使用, 比如nn.MSELoss就是通过计算均方差损失来评估输入和目标值之间的差距. 反向传播(backpropagation) 在Pytorch中执行反向传播非常简便, 全部的操作就是loss.backward(). 在执行反向传播之前, 要先将梯度清零, 否则梯度会在不同的批次数据之间被累加。 更新

构建神经网络 学习目标 掌握用Pytorch构建神经网络的基本流程. 掌握用Pytorch构建神经网络的实现过程. 关于torch.nn: 使用Pytorch来构建神经网络, 主要的工具都在torch.nn包中. nn依赖于autograd来定义模型, 并对其自动求导 构建神经网络的典型流程: 定义一个拥有可学习参数的神经网络 遍历训练数据集 处理输入数据使其流经神经网络 计算损失值 将网络参数的梯度进行反向传播 以一定的规则更新网络的权重 定义一个Pytorch实现的神经网络: import torch