![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
pytorch
文章平均质量分 95
在路上的工程师
这个作者很懒,什么都没留下…
展开
-
PyTorch正则化和批标准化
偏差是指在所有训练数据上训练得到的模型性能和在真实数据上表现的差异,方差是指模型在训练集和验证集(测试集)上的差异,方差重点在于不同数据集;噪声则是指给定的数据集(其可能存在噪声),那么当前数据集的数据质量已经决定了学习性能的上限,学习的目标就是尽可能的接近这个上限。原创 2023-03-09 23:05:24 · 788 阅读 · 1 评论 -
Pytorch优化器Optimizer
pytorch的优化器:管理并更新模型中可学习参数的值,使得模型输出更接近真实标签原创 2023-03-09 22:58:40 · 2210 阅读 · 1 评论 -
pytorch权值初始化和损失函数
可以发现,w2的梯度与H1(上一层网络的输出)有很大的关系,当h1趋近于0时,w2的梯度也趋近于0,当h1趋近于无穷大时,w2的梯度也趋近于无穷大。一旦发生梯度消失或梯度爆炸,那么网络将无法训练,为了避免梯度消失或梯度爆炸的出现,需要控制网络输出值的范围(不能太大也不能太小)原创 2023-03-09 22:54:05 · 626 阅读 · 0 评论 -
PyTorch的自动微分(autograd)
torch.Tensor 是包的核心类。如果将其属性 .requires_grad 设置为 True,则会开始跟踪针对 tensor 的所有操作。完成计算后,您可以调用 .backward() 来自动计算所有梯度。该张量的梯度将累积到 .grad 属性中。原创 2023-03-09 22:43:20 · 1247 阅读 · 0 评论 -
关于Pytorch中的张量学习
Tensor是pytorch中非常重要且常见的数据结构,相较于numpy数组,Tensor能加载到GPU中,从而有效地利用GPU进行加速计算。但是普通的Tensor对于构建神经网络还远远不够,我们需要能够构建计算图的 tensor,这就是 Variable。Variable 是对 tensor 的封装,主要用于自动求导。原创 2023-03-09 22:40:36 · 660 阅读 · 0 评论