流形学习的数学基础

已于 2022-09-14 20:11:46 修改
阅读量784 收藏 9
点赞数
分类专栏： 优化算法 文章标签： 学习
于 2022-05-18 14:44:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ph101LOVE/article/details/114733236
版权
本文介绍了优化算法在矩阵流形上的应用，重点讲解了黎曼流形上的Riemannian gradient descent方法。通过实例阐述了如何将欧氏空间的约束转化为流形处理，同时概述了流形学习的数学基础和相关书籍。适合初学者理解流形优化的基本概念和实践技巧。
摘要由CSDN通过智能技术生成

文章目录

1 Optimization Algorithms on Matrix Manifolds

Optimization Algorithms on Matrix Manifolds - Full Online Text
P.-A. Absil, R. Mahoney, and Rodolphe Sepulchre

文章来源：
124页哈佛数学系本科论文，带你了解流形学习的数学基础

2 Riemannian gradient descent

Optimization and Gradient Descent on Riemannian Manifolds

3 一些流形优化的博客

【1】流形优化方法求解约束问题

一句话概括就是：传统的优化方法是在欧氏空间考虑问题，而流形优化是在黎曼流形中考虑问题，这个黎曼流形哪来的呢？约束给的！也就是把欧氏空间的约束看成是一个流形。

【2】什么是流形？
参考知乎博主：主要看逼近极限

在这里插入图片描述
在这里插入图片描述

【3】微分流形参考书及推荐

参考文献

这篇文章的目的是让大家对这个方向有个大概的理解。详细的入门书籍建议看【1】【2】

另外综述文章看【3】还有一些博士论文：【4】【5】.

【1】 Absil, P-A., Robert Mahony, and Rodolphe Sepulchre.Optimization algorithms on matrix manifolds. Princeton University Press, 2009.

【2】Nicolas Boumal. An introduction to optimization on smooth manifolds. 2020.

【3】Hu, Jiang, Xin Liu, Zai-Wen Wen, and Ya-Xiang Yuan. "A brief introduction to manifold optimization."Journal of the Operations Research Society of China(2019): 1-50.

【4】Zhang, Hongyi. “Topics in non-convex optimization and learning.” PhD diss., Massachusetts Institute of Technology, 2019.

【5】Huang, Wen. “Optimization algorithms on Riemannian manifolds with applications.” (2013).

【6】微分流形（英）讲义 王作勤老师

潘欢 Panhuan
关注
专栏目录
流形学习 (Manifold Learning) 原理与代码实例讲解
程序员光剑
06-27 876
流形学习 (Manifold Learning) 原理与代码实例讲解 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：流形学习, 数据降维, 非线性数据表示, 自然语言处理, 图像分类
优化理论An Introduction to Optimization 中文版
11-02
最优化理论的经典书籍。
何晓飞--流形学习
07-10
何晓飞--流形学习PPT
流形学习的数学基础-2 基础
weixin_38817895的博客
12-03 328
流形学习的数学基础-1介绍
weixin_38817895的博客
12-02 476
流形学习 深度学习的降维过程实质上是学习高维数据的流形结构，常用的卷积神经网络产生特征后，即可以接全连接神经网络，也可以用其他机器学习方法，这个过程是学习概率分布，所以说端到端的深度学习算法是模糊了这两个过程，概率分布的学习目前已经有了较多的方法，但是深度学习对流形结构的学习和降维目前的约束和认识是非常弱的，因此有必要将流行正则化框架融入到目前的深度学习框架中。 ...
流形学习
家家的专栏
05-09 1470
<br />转自：http://rainme.ycool.com/post.1976607.html<br />流形学习是个很广泛的概念。这里我主要谈的是自从2000年以后形成的流形学习概念和其主要代表方法。自从2000年以后，流形学习被认为属于非线性降维的一个分支。众所周知，引导这一领域迅速发展的是2000年Science杂志上的两篇文章: Isomap and LLE (Locally Linear Embedding)。<br /><br />1. 流形学习的基本概念<br /><br />那流形学习
流形学习的数学基础-3核学习（3）
weixin_38817895的博客
12-15 300
一些知识点的初步理解_2(流形学习,ing...)
weixin_34161083的博客
03-29 301
一. 流形学习的英文名为manifold learning。其主要思想是把一个高维的数据非线性映射到低维，该低维数据能够反映高维数据的本质，当然有一个前提假设就是高维观察数据存在流形结构，其优点是非参数，非线性，求解过程简单。   二. 流形学习的可行性是因为：1.从认知心理学的角度来讲心理学家认为人的认知过程是基于认知流形和拓扑连续性的；2.许多高维采用数据都是由少数几个隐变量所决定的，所以...
流形学习初步
qq_40992795的博客
08-22 484
流形学习初步 说明 整理了一些直观概念，并没有很多的数学推导，里面的一些数学conception（eg.拓扑结构）都是比较基础的，可以去wiki上找相应的定义。 思维导图 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-z9fi6VsJ-1598025783087)(C:\Users\nicow\AppData\Local\Temp\1598009123311.png)] 1. 流形基础 直观感受 特征冗余：我们所能观察到的数据实际上是由一个低维流形映射到高维空间上的。 eg：
FTP__recifslve.rar_MVU算法_数学计算_流形学习 matlab
07-15
标题中的“FTP__recifslve.rar_MVU算法_数学计算_流形学习 matlab”指的是一款关于流形学习的MATLAB实现，具体来说是MVU（Maximum Variance Unfolding，最大方差展开）算法。MVU是一种非线性降维方法，常用于高维...
Introduction to Smooth Manifolds
02-08
Introduction to Smooth Manifolds。很经典的数学书。做流行学习的估应该能用上。John.M.Lee写的。
gradient_descent_viz:逐步演示和超参数调整UI的5种常用梯度下降方法的交互式可视化
04-06
梯度下降可视化 Gradient Descent Viz是一款桌面应用程序，它可视化了机器学习中一些流行的，包括（香草）梯度下降，动量，AdaGrad，RMSProp和Adam。 我的希望是，通过尝试不同的设置，任何人（无论是初学者还是专家）都可以对这些方法有新的直观理解。 在此处阅读，其中详细说明了这些方法。 特征 在一些不同的表面之间选择。 例如，在下面的屏幕记录中，您可以看到Adam和RMSProp处理鞍点比简单的梯度下降或动量要好得多。 调整参数。 该演示显示了一个具有平稳状态的表面（右键单击并拖动以旋转，箭头键进行导航，而Ctrl（或cmd）+加号/减号进行缩放）。 学习率低的动量法不足以推动它通过平坦区域。 提高学习率可以解决此问题。 也可以使用其他参数，然后看看您发现了什么。 观看分步动画，以直观地了解每种方法的计算过程。 以下是动量下降的内部工作原理演示。 使用视觉元
计算机视觉课程流形学习(共40张PPT).pptx
11-14
流形学习的数学基础包括微分几何和拓扑学，其中陈省身和陈维桓的著作是重要的参考文献。流形学习的目标是从观测数据中恢复出隐藏的流形和映射函数，即使数据是在高维空间中随机生成的，也可以通过某种映射过程形成。...
流形学习笔记（一）
G.D.Retop的专栏
02-12 835
http://blog.csdn.net/zyh2004883/article/details/49981525  流形学习入门篇2 ：没什么用 http://blog.csdn.net/zhulingchen/article/details/2123129 流形学习 (Manifold Learning)： 这个比较厉害 ，还有论文推荐 http://blog.csdn.net/wt
浅谈流形学习（zt)
zxg519的专栏
01-15 605
http://blog.pluskid.org/?p=533
对流形（Manifold）的最简单快速的理解
热门推荐
weixin_41855010的博客
06-23 2万+
文章目录引言：流形的初步概念流形的性质之一：连续性流形的性质之二：局部坐标转移性流形的性质之三： 可微性一些流形的例子1.闭合曲面2.克莱因瓶3.射影平面4.射影空间PnP^nPn5.Grassmann流形 引言：流形的初步概念 在学习李群的时候，我们会听到的第一句话就是“李群是群，同时也是流形（Manifold）”。第一次听到流形的时候，感觉这个名字很fashion，但是又非常疑惑，到底什么东西才是流形呢？带着这样的疑惑，我参考不少教材、书本、论文以及视频，都么有得到一个快速而准确的解释。直到看到了下面这
流形优化： Manifold Optimization 的 全网最通俗版本详解 (一）
B417科研笔记
04-16 1万+
前言 之前忙于论文， 停更了很久。 接下来的一段时间，出于各种原因， 决定在CSDN平台上做 最近在 混合波束成形 及 智能反射面 领域 非常常见的流形优化 (Manifold Optimization) 算法 的专题介绍。尽管目前已有了不少的中文博客， 但出于其各种弊端， 使得本篇的成文仍有其不可或缺的意义。 而如果要盘点最核心的意义， 就在于这篇是对读者的 数学能力 与 阅读理解能力 要求最低的 流形优化讲解了。 唯一参考的文献为 Manopt 工具包作者 Boumal 的 新书： An introd
优化｜流形优化系列（一）
最新发布
weixin_53463894的博客
01-06 2156
流形优化是非线性优化的一个分支，它主要关注在特定的几何结构下进行优化。在流形优化中，优化问题通常是在黎曼流形上进行的，而非欧几里得空间。黎曼流形是带有黎曼度量的流形，该度量为流形上的每个点都定义了一个内积。这种内积结构提供了流形上测量长度和角度的方式，这在优化过程中非常重要，因为它允许我们定义梯度和Hessian等概念，并进行相应的优化操作。在流形优化的背景下，流形通常是解的约束集。例如，当解必须是正交矩阵、单位范数向量或其它特殊结构时，这些集合都可以被看作流形。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值