dim的理解、初始化函数、cat()、empty()、Adam优化器、optim.lr_scheduler、CrossEntropyLoss和LabelSmoothing详解、KL散度

已于 2023-10-06 10:18:42 修改
阅读量571 收藏 1
点赞数 1
分类专栏： # Pytorch 文章标签： python 深度学习 开发语言
于 2023-03-12 12:44:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gqrblnp/article/details/129473807
版权

目录

1 Pytorch中dim的理解

2 Pytorch中的初始化函数

3 torch.cat()函数

4 torch.empty()函数

5 Adam优化器详解

6 使用torch.optim.lr_scheduler调整学习率

7 CrossEntropyLoss和LabelSmoothing详解

8 KL散度的两种调用方法和输入要求

1 Pytorch中dim的理解

总结：

（1） dim表示维度，每一个dim的size看其下一个dim中有几个并列的括号对，例如：

x = torch.randn(2, 3, 3)

print(x)
print(x.size())
print(x.dim())

输出：

tensor([[[-1.6943, -2.1487,  1.2332],
         [-0.2261, -0.1596,  1.5513],
         [ 2.0383, -0.6982, -2.1481]],

        [[ 0.4201, -2.7373,  0.2424],
         [-1.1152,  1.3682, -1.8322],
         [ 0.1957, -0.2920,  0.1845]]])
torch.Size([2, 3, 3])
3

这里，第一个dim的size是2，是因为第二个dim中有两个并列的括号对，即：

x = torch.randn(2, 3, 3)
print(x)

for i in x:
    print(i)
    print(i.size())

输出：

tensor([[[-1.4251, -0.8321,  1.0230],
         [ 0.2008,  0.5929, -0.7696],
         [-0.3721, -1.0837, -0.6642]],

        [[-0.5337,  0.7808,  0.4419],
         [-0.4683,  0.3847,  0.0747],
         [ 1.0156, -0.4933,  1.5340]]])


tensor(
    [
        [-1.4251, -0.8321,  1.0230],
        [ 0.2008,  0.5929, -0.7696],
        [-0.3721, -1.0837, -0.6642]
    ]
)
torch.Size([3, 3])

tensor(
    [
        [-0.5337,  0.7808,  0.4419],
        [-0.4683,  0.3847,  0.0747],
        [ 1.0156, -0.4933,  1.5340]
    ]
)
torch.Size([3, 3])

（2）使用函数给定dim时，表示的是其他维度不变，对该维度进行操作，并去除该维度或使得该维度变化，例如：

import torch

x = torch.randn(2,3)

print(x)

y = torch.argmax(x, dim=0)

print(y)
print(y.size())

输出：

tensor(
    [
        [ 0.0251, -0.3640,  0.1965],
        [ 0.6902,  0.9846,  0.2035]
    ]
)

tensor([1, 1, 1])
torch.Size([3])

去掉dim = 0，比较的就是 [ 0.0251, -0.3640, 0.1965] 和 [ 0.6902, 0.9846, 0.2035]

dim = (2, 3) -> (3)

2 Pytorch中的初始化函数

3 torch.cat()函数

注意：按照1中dim的规律，在cat()函数中设置哪个dim，对应的dim的size会变化（增加）

4 torch.empty()函数

总结： 返回填充有未初始化数据的张量。 张量的形状由可变的参数大小定义

5 Adam优化器详解

6 使用torch.optim.lr_scheduler调整学习率

注意：一般是调整优化器中的学习率 

7 CrossEntropyLoss和LabelSmoothing详解

总结：

（1）调用CrossEntropyLoss(x, y)，其中x为预测结果（直接的预测结果，不经过softmax层），y为实际的标签值（整数值，而非one-hot值）

（2）CrossEntropyLoss的快速计算方法： 

\operatorname{loss}(x, \text { class })=-\log \left(\frac{\exp (x[\text { class }])}{\sum_j \exp (x[j])}\right)=-x[\text { class }]+\log \left(\sum_j \exp (x[j])\right)

其中，class为实际的标签值（整数值，而非one-hot值）

（3）LabelSmoothing的理论分析

8 KL散度的两种调用方法和输入要求

总结：

（1）KL散度的定义、基本性质、应用以及常见分布KL散度的计算

注意：

1）上文的倒数第二段推导存在问题，因为在P_1的分布下，\frac{1}{n}\left(\mathbf{x}-\mathbf{u}_1\right)\left(\mathbf{x}-\mathbf{u}_1\right)^T=\Sigma_1，所以可以得到\left(\mathbf{x}-\mathbf{u}_1\right)\left(\mathbf{x}-\mathbf{u}_1\right)^T=n\Sigma_1，故原先的推导变为：

\begin{aligned} & \mathbb{E}_{P_1}\left[\left(\mathbf{x}-\mathbf{u}_2\right)^T \Sigma_2^{-1}\left(\mathbf{x}-\mathbf{u}_2\right)-\left(\mathbf{x}-\mathbf{u}_1\right)^T \Sigma_1^{-1}\left(\mathbf{x}-\mathbf{u}_1\right)\right] \\ & =\mathbb{E}_{P_1}\left[\operatorname{Tr}\left(\Sigma_2^{-1}\left(\mathbf{x}-\mathbf{u}_1+\left(\mathbf{u}_1-\mathbf{u}_2\right)\right)\left(\mathbf{x}-\mathbf{u}_1+\left(\mathbf{u}_1-\mathbf{u}_2\right)\right)^T\right)-n\right] \\ & =\mathbb{E}_{P_1}\left[\operatorname{Tr}\left(\Sigma_2^{-1}\left(\Sigma_1+2\left(\mathbf{x}-\mathbf{u}_1\right)\left(\mathbf{u}_1-\mathbf{u}_2\right)^T+\left(\mathbf{u}_1-\mathbf{u}_2\right)\left(\mathbf{u}_1-\mathbf{u}_2\right)^T\right)\right)-n\right] \\ & =\operatorname{Tr}\left(\Sigma_2^{-1} \Sigma_1\right)+\left(\mathbf{u}_1-\mathbf{u}_2\right)^T \Sigma_2^{-1}\left(\mathbf{u}_1-\mathbf{u}_2\right)-n \end{aligned}

2）一些结论： 

D\left(P_1 \| P_2\right)=\mathbb{E}_{P_1}\left[\log \left(P_1\right)-\log \left(P_2\right)\right]

\mathbb{E}_{P_1}\left[-\log \left(P_1\right)\right]=\frac{n}{2}(1+\log 2 \pi)+\frac{1}{2} \log \operatorname{det}(\Sigma_1)

\mathbb{E}_{P_1}\left[-\log \left(P_2\right)\right]=\frac{1}{2}\left[n\log 2 \pi+\log \operatorname{det}(\Sigma_2)+\operatorname{Tr}\left(\Sigma_2^{-1} \Sigma_1\right)+\left(\mathbf{u}_1-\mathbf{u}_2\right)^T \Sigma_2^{-1}\left(\mathbf{u}_1-\mathbf{u}_2\right)\right]

\begin{aligned} & D\left(P_1 \| P_2\right)=\frac{1}{2}\left[\log \left(\frac{\operatorname{det} \Sigma_2}{\operatorname{det} \Sigma_1}\right)+\operatorname{Tr}\left(\Sigma_2^{-1} \Sigma_1\right)+\left(\mathbf{u}_1-\mathbf{u}_2\right)^T \Sigma_2^{-1}\left(\mathbf{u}_1-\mathbf{u}_2\right)-n\right] \end{aligned}

当P_2为标准正太分布时，结果简化为：

\begin{aligned} & D\left(P_1 \| P_2\right)=\frac{1}{2} \left[-\log \left(\operatorname{det} \Sigma_1\right)+\operatorname{Tr}\left(\Sigma_1\right)+\left\|\mathbf{u}_1\right\|^2-n\right] \end{aligned}

（2）torch.nn.KLDivLoss(x, y)和torch.nn.functional.kl_div(x, y)实现的计算为：

l(x, y)=L=\left\{l_1, \ldots, l_N\right\}, \quad l_n=y_n \cdot\left(\log y_n-x_n\right)

（3）在使用时，x为经过softmax和log后的预测结果，y是实际标签值的概率分布

（4）需要注意的是，一般只有LabelSmoothing之后才会将y由原来的整数标签值（或one-hot型标签值）转换成标签值的概率分布，即KL散度一般和LabelSmoothing一起使用

ad转化器
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Pytorch实用教程：pytorch中 argmax(dim)用法详解
惊鸿若梦一书生
05-29 342
是 PyTorch 中的一个函数，用于找出指定维度上最大值的索引。argmax函数是在多维张量上进行操作的，通过dim参数可以指定在哪一个维度上查找最大值。
PyTorch常用函数torch.cat()中dim参数使用说明
xinyuerr的博客
09-15 380
在PyTorch中，是一个被广泛使用的函数。它可以让我们在某个维度上把多个张量组合在一起。对于那些想要深入了解使用PyTorch进行数据分析和建模的开发者来说，理解函数的dim参数是非常重要的。在PyTorch中，几乎所有与神经网络有关的操作都涉及到张量（Tensor）操作。因此，在PyTorch中，将多个相同形状的张量沿某个轴/维度连接起来的过程非常重要。这就是函数的作用。的最基本用法如下：1其中tensors表示要拼接的张量列表，dim表示我们希望在哪个维度上连接，默认是0，即在第一维上连接。
DIM（Learning deep representations by mutual information estimation and maximization）
林小川的博客
09-17 6886
论文：https://arxiv.org/pdf/1808.06670.pdf 摘要： 许多表示学习只使用已探索过的数据空间（称为像素级别），当一小部分数据十分关心语义级别时，该表示学习将不利于训练。论文提出了无监督表示学习，直接学习和估计信息内容，统计或结构约束。论文最大化输入信息和高级特征向量之间的互信息与通过对抗匹配先验分布来控制表示学习的特征。 介绍： 人工智能单元在预测和规划时不...
torch.cat((x,y),dim）函数理解
keith的博客
07-18 6138
torch.cat((x,y),dim )函数讲解
VB--dim函数
jeromezmzx007的博客
06-03 7632
dim 变量不经过定义是可以直接使用的。 但是经过Dim定义的和没有经过定义的，使用起来效果真的一样吗？ 其实两个还是有差别的。 简单程序中看不出差别，如果以后程序复杂了，我认为还是有差别的。 还是先用Dim定义一下比较好。 因为，以后我们还会学到Public定义的变量（全局变量），而用Dim定义的是局部变量。 看看下面的脚本1中a 的值的变化。最后的a 是80啦。 a = 50 msgbox “...
PyTorch中model.zero_grad()和optimizer.zero_grad()用法
09-16
当我们创建一个优化器（如 `optim.SGD` 或 `optim.Adam`）并传入模型的参数时，这个优化器有一个内部的`zero_grad()` 方法，其作用与 `model.zero_grad()` 相同。调用 `optimizer.zero_grad()` 实际上是在遍历模型...
Cap_optim.rar_cap_optim_投切_无功优化_无功补偿_无功补偿算法
07-14
无功优化投切算法在电力系统自动化和智能电网中有着广泛应用，对于提升电网的经济性和可靠性具有重要意义。通过持续优化和改进这类算法，我们可以更好地应对不断变化的电力需求，保障电网的稳定运行。
optim.rar_largestbl6_matlab最优化工具箱_；R2012b
07-15
标题中的"optim.rar_largestbl6_matlab最优化工具箱_；R2012b"指的是一个关于MATLAB最优化工具箱的压缩文件，其中包含的“largestbl6”可能是指该版本工具箱的一个特定特性或者更新。R2012b则表明这是针对MATLAB R...
go_calib_optim.rar_ go_calib_optim_Go_ Go_ Go!_定标_平面标定_摄像机标定
09-21
在本项目中，"go_calib_optim.m"可能是一个用于处理平面标定数据的脚本，它可能包含了图像处理、特征检测、匹配和优化算法。 接下来，我们讨论一下Go语言在计算机视觉中的应用。Go语言以其简洁的语法、高效的性能...
测试学习率调度器.zip
04-26
使用这些调度器时，需要先创建一个优化器实例，如`torch.optim.SGD`或`torch.optim.Adam`，然后将调度器附加到优化器上，通过`scheduler.step()`在每次迭代后更新学习率。在实际应用中，可以根据模型的复杂性、数据...
R语言中dim函数_R语言 常见函数知识点梳理与解析 | 精选分析
weixin_39801165的博客
10-22 2万+
目 录1、str() 显示数据集和变量类型，并简要展示数据集情况2、subset() 取子集3、which.min(), which.max()和which()4、pmin( )/ pmax( )5、complete.cases( ) 判断对象中是否数据完全6、grep()找出所数据框中元素所在的列值(仅数据框中)7、assign()通过变量名的字符串来赋值8、 split()根据因子...
对PyTorch的dim的理解
qq_39686950的博客
03-30 1476
文章目录前言多维张量的维度torch.max()torch.argmax()torch.softmax()torch.stack()总结 前言   做深度学习的项目，离不开对tensor的操作，tensor中文名称是张量，以PyTorch框架为例，张量是PyTorch的基本数据类型，初学者对张量操作时，常常会被dim这个参数困扰，本文测试了torch.max()、torch.argmax()、torch.softmax()、torch.stack()四个函数的dim值，以利于初学者对dim和张量的理解。
R语言中dim函数_R语言函数使用总结
weixin_39541044的博客
11-20 1万+
R语言函数使用总结​www.bioinfo.online固定参数函数f1 <- function(a,b=2){ message(a,b) return(a+b) # 没有return返回最后一条语句 } b <- f1(5) # 52 b # 7 f1(2,5) # 25 f1(b=2,a=5) # 52 f1(b=5,2) # 25可变参数的函数r自带函数 c(.....
Modelica示例——事件相关函数
bear_miao的博客
05-01 1735
监测变化edge()函数和change()函数常用来监测事件的变化。当变量的值改变时，这两个函数可以给出提示。edge()函数仅能用于bool变量；change()函数仅能用于bool、整数和字符串型变量。edge()的等价定义式为：edge(x) = x and not pre(x);换句话说，x为真，而之前不为真，则edge为真。change()的等价定义式为：change(x) = x &l...
R语言中dim函数_R语言入门：函数介绍（3）—— %>%
weixin_39539684的博客
11-20 1万+
R语言入门：函数介绍(2)%>%大家好，绝艺我又回来更新了！本期主要内容是介绍上次预告的中缀函数%>%，该函数封装于"dplyr"包中。同时剧透下一期内容为有同学点播要求学习的reshape2包中的melt()函数和cast()函数。函数介绍(3)%>%%>%函数，本质上而言就是编程中常用的管道符。什么叫管道符呢？顾名思义，就是像一个管道一样，把数据传输过去。...
pytorch 基本函数中的 dim【详细说明】：以torch.argmax为例
热门推荐
月下花弄影
03-17 4万+
pytorch中有很多自带函数，掌握好这些函数，程序写起来当然非常有效率。 在这些pytorch函数中，很多都有dim这个控制参数，但是我们很难明白这个含义是什么。 本文试着总结一下： 1）dim的不同值表示不同维度。特别的在dim=0表示二维中的行，dim=1在二维矩阵中表示行。广泛的来说，我们不管一个矩阵是几维的，比如一个矩阵维度如下：(d0,d1,...,dn−1)(d_0, d_1, .....
对 torch 中 dim 的总结和理解
拾贝壳
06-23 3659
pytorch 中，使用到 dim 参数的 api 都是跟集合有关的，比如 max(), min(), mean(), softmax() 等。当指定某个 dim 时，那么表示使用该维度的集合进行集合运算，比如一个 tensor 的 shape 为 (3, 4, 5)，分别对应的 dim 如下所示 dim shape 0 3 1 4 2 5 当使用 max(dim=1) 时，表示使用第二个维度中全部四个元素中的每个元素参与求最大值计算，计算后的 shape 变为 (3,5)，因为
【Python如何将字符串连接在一起并使用`join()`方法】
最新发布
qq_36253366的博客
07-19 167
方法是字符串对象的方法，而不是列表或元组等序列类型的方法。因此，你需要先指定一个用作分隔符的字符串，然后调用这个字符串的。方法将字符串连接在一起，你需要首先确保这些字符串被存储在一个序列类型中（如列表或元组），然后调用这个序列的。方法是一个字符串方法，它用于将序列（如列表、元组等）中的元素以指定的字符连接生成一个新的字符串。列表中的所有字符串元素使用空格作为分隔符连接成一个新的字符串。方法，并将你想要作为分隔符的字符串作为参数传递给。方法，并将包含要连接字符串的序列作为参数传递。
torch.optim.lr_scheduler.StepLR
09-11
`torch.optim.lr_scheduler.StepLR`是PyTorch中的一个学习率调整器（learning rate scheduler）。它在训练过程中根据预先定义的步数来动态地调整学习率。 该调度器按照给定的步长调整学习率。具体而言，每经过一定...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值