最优传输系列（二）：熵正则、拉格朗日问题与Sinkhorn算法

最新推荐文章于 2023-12-27 00:30:51 发布
最新推荐文章于 2023-12-27 00:30:51 发布
阅读量2.8k 收藏 1
点赞数 2
分类专栏： 领域自适应与最优传输 文章标签： 最优传输 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41076797/article/details/116426615
版权
本文探讨了在最优传输问题中引入熵正则化的Kantorovitch问题，通过拉格朗日乘数法解析计算过程，重点介绍了Sinkhorn算法如何解决矩阵尺度问题，并通过迭代求解μ和ν，最终达到收敛到最优解的状态。文章提供了Sinkhorn算法的迭代原理和收敛过程的示例。
摘要由CSDN通过智能技术生成
了解本专栏 订阅专栏 解锁全文 超级会员免费看
CtrlZ1
关注
专栏目录
订阅专栏
最优传输-熵正则化（第八篇）
Grant Tour of Algorithms
04-27 9581
最优传输系列是基于Computational Optimal Transport开源书的读书笔记 最优传输的熵正则化 在大型数据集上进行最优传输时 ，时间复杂度是个非常重要的因素。 不过，在大部分应用情况下，求标准Kantorovich解是不必要的：如果我们利用正则化，改求近似解，那么最优传输的计算代价就大幅降低了。 使用正则化的最优传输问题用一系列矩阵乘法即可求解–这意味着最优传输可以充分享受G...
最优传输问题与Sinkhorn算法
一个学习困难症患者的破博客
02-01 6776
最近看到一篇特征匹配相关的论文，思想是将特征匹配问题转化为最优传输问题并用Sinkhorn算法求解，于是我去学习了一下相关知识
矩阵归一化的 Sinkhorn-Knopp 算法：对矩阵进行归一化，使得行和列的总和都是统一的-matlab开发
06-01
Sinkhorn-Knopp 算法采用矩阵 A 并找到对角矩阵 D 和 E，如果 M = DAE，则 M 的每一列和每一行的总和为 1。 该方法实际上是交替地对矩阵的行和列进行归一化。 这个函数是一种高效的实现，它在迭代完成之前实际上不执行归一化，并且不使用 A 的转置。 A 必须是非负数。 如果 A 中有零，则算法可能不会收敛，具体取决于它们的分布。 如果需要，可以设置最大迭代次数和/或容错。 行和列总和为 1 的矩阵称为“双重随机”。 此类矩阵具有多种应用，包括网页排名。 参考： Philip A. Knight (2008) Sinkhorn–Knopp 算法：收敛和应用。 SIAM 矩阵分析和应用杂志 30(1), 261-275。 doi：10.1137/060659624
Sinkhorn算法
热门推荐
https://github.com/shaofengzeng/
01-12 3万+
从Superpoint到SuperGlue再到其它基于深度学习的图像匹配算法，几乎都用到了Sinkhorn算法，到底什么Sinkhorn算法，参考了一篇外文，写的很清晰，翻译了一下，供大家参考 (注意，本文不分析Sinkhorn到底如何用于图/图像匹配，但如果看懂本文，我想这一问题就不在话下了) Sinkhorn解决的是最优传输问题，简单将就是把一个概率分布以最小代价转换成另外一个分布(此非人话，不理解也无妨，我也很讨厌这种过于学术的表述，不利于知识传播，但是确实没想出来到底怎么表述更合理更易于理解)
Sinkhorn algorithm #notebook
最新发布
weixin_53162487的博客
12-27 1618
Sinkhorn算法是一种用于解决正则化的最优传输问题的迭代算法。它基于Sinkhorn-Knopp矩阵缩放方法，用于计算两个离散概率分布之间的Sinkhorn距离，这是一种在最优传输理论中的距离度量。
Sinkhorn-Knopp算法
pengxiang1998的博客
05-31 4173
Sinkhorn-Knopp是为了解决最优传输问题所提出的。
欧氏距离matlab代码-LinearSinkhorn:LinearSinkhorn
05-27
欧氏距离matlab代码使用正特征的线性时间Sinkhorn发散 Meyer Scetbon和Marco Cuturi撰写的论文代码 线性时间中正则化最优输运的逼近 在这项工作中，我们表明，对于某些常用成本函数（例如平方欧几里得距离），可以相对于样本数量在线性时间内近似正则化最优运输。 当样本生活在单位球体上时，我们提出了在计算正则化OT的不同方法之间的时间准确性权衡。 递归Nystrom的实现改编自MATLAB实现（）。 生成对抗网络 我们还表明，我们的方法提供了一种建设性的方法来构建内核，然后构建适用于该问题的成本函数，以便使用最佳传输方式比较分布。 我们显示了在CIFAR10（左）和CelebA（右）上使用我们的方法学习的生成模型的一些视觉结果。 WGAN的实现是从MMD-GAN实现（）改编而成的代码。 该存储库包含的算法的Python实现。
PCL_Sinkhorn
04-18
基于集群的自我监督学习方法的实现与评估 这种PyTorch实施是一个自我监督的学习网络，结合了基于比较学习和聚类学习。 K均值聚类部分被Sinkhorn-Knopp算法取代，产生了三个想法。 要求： 数据集 ImageNet，迷你100 CIFAR-10，CIFAR-100 的Python 3.8.3 PyTorch 1.7.1 CUDA 11.0 点安装tqdm 点安装tensorboard_logger 资料集： 训练和测试是根据类的文件夹生成的。 影像网 将图像打包到文件夹 mkdir val && mv ILSVRC2012_img_val.tar val/ && cd val && tar -xvf ILSVRC2012_img_val.tar wget -qO-https://raw.githubusercontent.com/soumith/imagene
熵值法matlab代码-sinkhornnewton:论文代码“用于熵最优传输的Sinkhorn-Newton方法”
05-25
保守值法matlab代码沉角牛顿 该存储库包含MATLAB代码，该代码生成了可在上找到的论文“用于熵最优传输的Sinkhorn-Newton方法”中的图。 作者： 克里斯多夫·布劳（） 德克·洛伦兹（） 克里斯汀·克拉森（） 本尼迪克特·沃思（ 内容 驱动程序（运行以下命令以生成数字）： driver_sinkhorn.m test script to generate figure 1 driver_parameters.m test script to generate figure 2 driver_discretization.m test script to generate figure 3 驾驶员调用的例程： sinkhorn.m implements the Sinkhorn-Knopp method sinkhorn_newton.m implements the proposed Sinkhorn-Newton method sinkhorn_newton_primal.m the same using only primal variables MNISTGrou
sinkhorn_networks
02-19
sinkhorn_networks
SinkhornAutoDiff:使用自动微分和Sinkhorn算法整合最佳运输损失功能的工具箱
05-19
SinkhornAutoDiff-使用自动微分和Sinkhorn算法集成最佳运输损失函数的Python工具箱 概述 Python工具箱，用于计算和区分最佳运输（OT）距离。 它使用（一般化的）Sinkhorn算法[1]计算成本，该算法又可以应用： 优化重心及其权重[2]。 进行形状对准[9]。 作为机器学习功能之间的一种损失[1]。 为生成模型[8]执行密度拟合（另请参见下面的图像）。 组织 code /包含计算OT损耗及其差异的核心例程。 notebooks /包含的集合，展示了工具箱的简单用法。 平面特征 使用矩阵/向量乘法的经典Sinkhorn [1]。 可分离内核（例如图像的高斯内核）的加速[5]。 对数域稳定的Sinkhorn [7]。 传输不平衡（用于几个f散度保真度）[7]。 重球加速[10]。 重心[7]。 Gromov-Wasserstein [4]
增强拉格朗日算法：工具箱实现了增强拉格朗日算法-matlab开发
05-30
该工具箱实现了众所周知的增强拉格朗日算法并将其应用于示例（Hock 和 Schittkovski GLR-P1-1）。 已经研究了两种线搜索方法。 一种基于牛顿方法，另一种基于内置的 matlab 函数 fminsearch。 它需要输入几个参数...
增广拉格朗日算法_拉格朗日matlab_曾广拉格朗日算法_增广拉格朗日_includinge66
09-10
这个算法在工程、机器学习和数据科学等领域有着广泛的应用，因为它能够将原问题转化为一系列无约束的子问题，使得求解过程更为简单。 在MATLAB环境中，实现曾广拉格朗日算法通常涉及到以下几个关键步骤： 1. **...
Sinkhorn算法，正矩阵与双随机矩阵之间的关系
Codefmeister's BLOG
04-13 2439
Sinkhorn算法 Sinkhorn 算法描述了任意一个正矩阵(元素均为正)与双随机矩阵之间的关系。 简略描述 Relations between arbitrary positive matrices and Doubly stochastic matrices. 如果A是一个正矩阵，那么通过交替的进行行归一化和列归一化，可以将其转换为一个转移矩阵(双随机矩阵)。 if A is a positive Matrix, alternately applies row-normalization an
最优传输-Sinkhorn算法（第九篇）
Grant Tour of Algorithms
06-30 2万+
最优传输系列是基于Computational Optimal Transport开源书的读书笔记 Sinkhorn算法 在上一篇里，我们介绍了加入熵正则化的最优传输问题–熵正则化通过限制最优传输问题解的复杂度，可以以大幅降低的复杂度得到最优传输问题的近似解。 不过，熵正则化仍然是一个概念，需要一个有效的算法，才能够释放它的潜力。 所以，在这一篇里，我们探索实际应用中十分常见的Sinkhorn算法。...
Net编程秘籍：深度解析拉格朗日插值与QBASIC算法应用
内容涵盖了复数运算、矩阵运算、多项式与连分式函数计算等多个领域，如复数的乘法、除法、指数、对数、正弦、余弦运算，以及矩阵相乘、线性最小二乘问题求解、病态方程组求解等。 《函数程序-Net之美》是一本综合性...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

CtrlZ1

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值