最优传输映射-深度学习几何观点

最新推荐文章于 2024-06-21 09:37:45 发布
最新推荐文章于 2024-06-21 09:37:45 发布
阅读量1.9k 收藏 4
点赞数
文章标签： 计算机视觉 数学
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/asforking/article/details/120959787
版权

对顾老师的课做了一个笔记

简介

核心问题：最优传输研究用最经济的方式，将一个分布变换成另一个分布。
核心特点：最优传输的一体两面：1.统计 2.几何
常用算法：1.线性规划 2.几何变分 3.流体力学 4.数值方程
求解Monge-Ampere方程，强烈非线性。
常见应用: 深度学习：分布之间的距离
经济运筹：产销平衡，资源分配
计算机图形学：保面积参数化
数字图像处理：风格转化
自然语言处理：词汇集学习
计算机视觉：曲面配准
医学图像：图像配准，分类
光学设计：透镜，反射镜设计
在这里插入图片描述

计算机图形学：保面积参数化
医学图像应用：判断大脑皮层
在这里插入图片描述
在自动驾驶和计算机视觉中，曲面配准是比较重要的问题。

在这里插入图片描述

几何：Minkows

最低0.47元/天 解锁文章
asforking
关注
最优传输论文（一）：Domain Adaptation with Regularized Optimal Transport论文原理
lyy的博客
05-10 1226
目录前言原理阐述文章介绍Monge-Kantorovitch ProblemRegularized Optimal T ransportDomain Adaptation with Label Regularized Optimal TransportMajoration Minimization Strategy 前言 本文属于我最优传输系列里的一篇，该专栏用于记录本人研究生阶段相关最优传输论文的原理阐述以及复现工作。 本专栏的文章主要内容为解释原理，论文具体的翻译及复现代码在文章的github中。
最优传输系列-第五篇（3.3-3.4.1）
Grant Tour of Algorithms
03-29 1975
最优传输系列是基于Computational Optimal Transport开源书的读书笔记 3.3 Complementary Slackness 上一节里，我们认识到C转换不能够作为解决Kantorovich问题的方式。 不过，我们很快就会踏上正道，而Proposition 3.3就是有效优化方式的开始： 如果PPP是一个原始Kantorovich问题的解，⟨f,g⟩\langle f,g...
探索深度学习中的最优传输：一个资源宝库
gitblog_00074的博客
06-21 934
探索深度学习中的最优传输：一个资源宝库 项目地址:https://gitcode.com/gh_mirrors/aw/Awesome-Optimal-Transport-in-Deep-Learning 在深度学习与机器学习领域，最优传输（Optimal Transport，简称OT）理论正悄然成为推动算法创新和提升性能的关键力量。本文将带你走进Awesome Optimal Transport ...
纳什均衡-深度学习-最优传输理论
Sun7_She的专栏
07-30 5790
队伍学习，生成对抗网络 — 纳什均衡 最优传输理论 - 威尔斯特拉距离 - 从一个空间转换到另一个空间 - 风格化
统计深度学习与最优传输理论，传统方法vs深度学习，符号主义与联结主义
qq_42079689的博客
11-26 2506
统计深度学习与最优传输理论，传统方法vs深度学习，符号主义与联结主义统计深度学习与最优传输理论传统计算机视觉方法与基于统计的深度学习方法符号主义与联结主义   本文多处摘引自当深度学习遇到3D，并记录一些自己的理解。 统计深度学习与最优传输理论   统计深度学习的理论框架可以用范畴语言来描述，范畴包括 流形上的概率分布和流形间的变换。数据集是流形上的概率分布，深度神经网络表达流形间的变换。生成模型...
最优传输映射
hjwang1的专栏
11-11 719
离散最优传输问题, for image color transfer, random matrices, GAN or WGAN, and deep learning. img from: 顾险峰 老顾谈几何 顾老师把这个问题，讲得很通透
最优传输论文（二）Deep Joint Distribution Optimal Transport for Unsupervised Domain Adaptation
qq_42595295的博客
12-01 1534
DeepJDOT是基于ot的将特征和标签联合的差异度量进行优化的方法，Deep的含义为使用CNN构造特征提取器g和分类器f。
深度学习的几何观点
欢迎来到道的世界
10-25 837
深度学习的基本问题  深度学习方法在很多工程和医疗领取都取得巨大成功，但是深度学习的理论基础依然薄弱，对于深度学习机制的内在理解仍然处于探索阶段，其基本问题可以接纳为如下三个： 深度学习（机器学习）究竟在学习什么？ 深度学习系统如何进行学习？它们究竟是记住了学习样本，还是真正学会了内在知识？ 深度学习系统的学习效果如何？是学会了人类教给它们的所有知识，还是要迫不得已遗忘一些知识？ 最优传输理论有助于理解和解答这些基本问题，并给出更加严密、准确、高效、，透明的设计方案，从而使得深度学习的“黑箱”变得透明。
中国人工智能学会通讯——最优传输理论在机器学习中的应用 1.2 概率分布逼近...
weixin_34208283的博客
09-01 575
1.2 概率分布逼近 深度学习的方法强劲有力，几乎横扫计算机视觉的所有领域，很多人将其归 功 于 神 经 网 络 的 万 有 逼 近 能 力（universal approximation property）：给定一个连续函数 或者映射，理论上可以用一个包含足够多神 经元的隐层 , 或者多层前馈网络逼近到任意 精度。对此，我们提出另外的观点：有些情 况下...
最优传输理论和生成模型的几何观点
Paper weekly
07-18 2384
©PaperWeekly 原创 ·作者｜尹娟学校｜北京理工大学博士生研究方向｜随机过程、复杂网络论文标题：A Geometric View of Optimal Transportat...
最优传输理论与计算 ——雷娜 顾险峰 【新书发布】
robotooo的博客
10-30 3985
缘起 1995年秋季,第二作者刚刚来到哈佛大学开始攻读计算机科学领域的博士学位,并在数学系学习丘成桐先生的微分拓扑课程,同时在麻省理工学院人工智能实验室学习Berthold Horn教授的机器人视觉课程. Horn教授提倡从物理的角度来理解视觉机理,用偏微分方程来解决工程问题.Horn教授讲解了他的经典工作“Shape from Shading”,将从二维图片重建三维几何的问题归结为求解双曲型偏微分方程. Horn教授也讲解了“Extended Gauss Image”的想法,目的是用Gauss曲率来重建
【最优传输论文二十】2023 ICCV - DPM-OT A New Diffusion Probabilistic Model Based on Optimal Transport
m0_60231311的博客
08-09 1077
给定在时刻t的M步轨迹, M≤t, xt∈Xt，则从到的最优轨迹为单步轨迹，通过最小化以下运输成本获得:根据Brenier定理，OT映射g *(·)是满足monge - ampsamre方程的凸Brenier势uh的梯度。文献[14]的第2章中证明了monge - ampre方程解的存在性和唯一性，他使用Alexandrov的方法并宣称:i). Dirac分布序列{νn}弱收敛于数据分布ν;ii).对于每一个狄拉克测度νn，存在一个Alexandrov解(即本文中的离散Brenier势);
顾老师GAN最优传输理论pdf整理.rar
11-12
顾老师GAN最优传输理论pdf整理，最优传输是数学领域的经典分支,最优传输与神经网络有天然的相似性,最优传输理论的研究也许能为深度学习理论研究打开一扇窗！
顾老师GAN最优传输理论pdf整理
01-10
最优传输是数学领域的经典分支,最优传输与神经网络有天然的相似性,最优传输理论的研究也许能为深度学习理论研究打开一扇窗,或者至少能指导一些深度学习！
最优传输（Optimal Transport）
qq_43010742的博客
02-22 9886
最优传输（Optimal Transport）是一种数学理论和计算方法，用于描述两个概率分布之间的距离或者对应关系。
最优传输系列-第七篇（3.5-3.5.2）
Grant Tour of Algorithms
04-17 1988
最优传输系列是基于Computational Optimal Transport开源书的读书笔记 3.5 网络单纯形法 有了3.4节里的西北角算法，我们现在有能力枚举可能为最优解的传输，离解决Kantorovich relaxation又更近一步了。 在3.5小节里，我们迈出这至关重要的一步，介绍网络单纯形法（Simplex method），终于可以从头到尾解决最优传输问题了。 3.4里提到，最优...
最优传输系列-第四篇（3.1-3.2）
Grant Tour of Algorithms
03-23 3020
Chapter 3 3.1
[最优传输论文五]Wasserstein GAN
m0_60231311的博客
04-27 434
WGAN前作分析了Ian Goodfellow提出的原始GAN两种形式各自的问题，第一种形式等价在最优判别器下等价于最小化生成分布与真实分布之间的JS散度，由于随机生成分布很难与真实分布有不可忽略的重叠以及JS散度的突变特性，使得生成器面临梯度消失的问题；第二种形式在最优判别器下等价于既要最小化生成分布与真实分布直接的KL散度，又要最大化其JS散度，相互矛盾，导致梯度不稳定，而且KL散度的不对称性使得生成器宁可丧失多样性也不愿丧失准确性，导致collapse mode现象。
最优传输（OT）
芒果干的博客
10-30 8692
1. 基本概念 最优传输是在可分度量空间中，讨论概率测度间最优传输变换的一类优化问题，涉及到偏微分方程和凸几何等多种理论，是多学科交叉的研究领域。直观的一个解释是：假设有两个工地\( X \)和\( Y \)，工地\( X \)上有\( m \)堆土，工地\( Y \)上有\( n \)个坑，现在要将工地\( X \)上的\( m \)堆土全部.
如何利用最优传输理论和深度学习模型，提升长尾数据分布下图像分类的性能？请结合Benamou-Brenier方法、Sinkhorn算法和FFT-OT方法进行说明。
最新发布
11-05
在图像分类任务中，数据的长尾分布会严重影响模型的性能，尤其是对于少数类别的识别。最优传输理论可以在此类问题中发挥重要作用，通过优化数据分布来提高模型的泛化能力。结合最优传输理论与深度学习模型，我们可以采取以下策略来优化性能： 参考资源链接：[最优传输理论与算法在深度学习中的应用——郎大宇硕士论文](https://wenku.csdn.net/doc/7yddd4q7dy?spm=1055.2569.3001.10343) 首先，使用Benamou-Brenier方法对数据进行预处理。该方法能够通过连续时间的动态规划，找到一种最优传输映射，将少数类别数据映射到更多样化且更接近多数类别的分布。这可以帮助模型更好地学习少数类别的特征表示。 其次，应用Sinkhorn算法进行类别权重的优化。Sinkhorn算法通过熵正则化和快速迭代，可以平衡不同类别在损失函数中的权重，从而对长尾数据中的少数类别给予更多的关注，减少模型对多数类别的偏见。 最后，引入FFT-OT方法来加速大规模最优传输问题的求解。由于图像数据通常包含大量的样本，FFT-OT方法可以有效地利用傅里叶变换来加速优化过程，提高算法的计算效率，从而在实际应用中快速调整模型。 通过结合这三种算法的优势，我们可以设计出一种改进的深度学习模型，该模型能够更加准确地进行图像分类，特别是在面对数据分布严重不平衡的情况时，优化模型的性能表现。 为了更深入地理解这些算法在深度学习中的具体应用，建议阅读这份资料：《最优传输理论与算法在深度学习中的应用——郎大宇硕士论文》。这篇论文详细介绍了三种最优传输算法的理论基础和实现，并且提供了在图像分类任务中应用这些算法的实验结果和分析。通过这份资料，读者不仅能够获得理论上的深入理解，还能够掌握实际操作中的技巧和方法，为进一步的研究和应用打下坚实的基础。 参考资源链接：[最优传输理论与算法在深度学习中的应用——郎大宇硕士论文](https://wenku.csdn.net/doc/7yddd4q7dy?spm=1055.2569.3001.10343)
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值