复圆流行优化

已于 2023-03-30 15:57:00 修改
阅读量1k 收藏 18
点赞数 3
分类专栏： 笔记 文章标签： 学习
于 2021-05-25 20:45:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39227541/article/details/117264174
版权

如图中，step1：首先找出点xk的欧几里得梯度

              step2:将欧几里得梯度映射为黎曼梯度

              step3：利用负黎曼梯度作为搜索方向，步长为alpha-k，此时找到了黎曼切空间的下一迭代点，但它不是原来复圆空间的迭代点

（共轭梯度中的搜索方向，也需要进行更新---搜索方向不再是简单的负黎曼梯度！！！可以去了解下共轭梯度法的优化过程）

             step4：将切空间得到的下一个迭代点映射回复圆空间作为下一个迭代点（目的：为了下一次step2计算黎曼梯度使用的）

最终达到收敛条件即可停止

复圆流行工具包的官方网站以及使用讲解链接：

https://www.manopt.org/tutorial.html#gettingstarted

               

稳定的穷
关注
  • 3
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
深度学习之各种优化算法
xueli1991的博客
05-14 8986
机器之心编译 参与：沈泽江 　　梯度下降法，是当今最流行的优化（optimization）算法，亦是至今最常用的优化神经网络的方法。本文旨在让你对不同的优化梯度下降法的算法有一个直观认识，以帮助你使用这些算法。我们首先会考察梯度下降法的各种变体，然后会简要地总结在训练（神经网络或是机器学习算法）的过程中可能遇到的挑战。 　　目录： 梯度下降的各种变体
深度解读最流行的优化算法：梯度下降（精简版）
weixin_30826095的博客
09-16 123
前言 本文仅对一些常见的优化方法进行直观介绍和简单的比较，各种优化方法的详细内容及公式只好去认真啃论文了，在此不赘述。 SGD 此处的SGD指mini-batch gradient descent，关于batch gradient descent, stochastic gradient descent, 以及 mini-batch gradient descent的具体区别就不细说了。现在...
流形优化： Manifold Optimization 的 全网最通俗版本详解 (一）
B417科研笔记
04-16 1万+
前言 之前忙于论文， 停更了很久。 接下来的一段时间，出于各种原因， 决定在CSDN平台上做 最近在 混合波束成形 及 智能反射面 领域 非常常见的流形优化 (Manifold Optimization) 算法 的专题介绍。尽管目前已有了不少的中文博客， 但出于其各种弊端， 使得本篇的成文仍有其不可或缺的意义。 而如果要盘点最核心的意义， 就在于这篇是对读者的 数学能力 与 阅读理解能力 要求最低的 流形优化讲解了。 唯一参考的文献为 Manopt 工具包作者 Boumal 的 新书： An introd
今天来聊一聊什么是黎曼共轭梯度体系
KongDere的博客
08-24 343
综上所述，黎曼共轭梯度体系是数学优化领域中的一颗明珠，通过在黎曼流形上定义梯度方向，实现了在非欧几里德空间中的高效优化。尽管在应用和理论研究中还存在许多挑战，但黎曼共轭梯度体系仍然是优化领域中的一个重要工具，将继续为数学家和科研人员提供解决实际问题的强大工具。黎曼共轭梯度体系是一种处理在黎曼流形上的优化问题的方法，而黎曼流形是一种广义的几何结构，可以看作是欧几里德空间的推广。4. 优化问题的泛化：黎曼共轭梯度体系不仅仅适用于经典的优化问题，还可以推广到一些更一般的情况，如矩阵优化、张量优化等。
优化｜流形优化系列（一）
最新发布
weixin_53463894的博客
01-06 1588
流形优化是非线性优化的一个分支，它主要关注在特定的几何结构下进行优化。在流形优化中，优化问题通常是在黎曼流形上进行的，而非欧几里得空间。黎曼流形是带有黎曼度量的流形，该度量为流形上的每个点都定义了一个内积。这种内积结构提供了流形上测量长度和角度的方式，这在优化过程中非常重要，因为它允许我们定义梯度和Hessian等概念，并进行相应的优化操作。在流形优化的背景下，流形通常是解的约束集。例如，当解必须是正交矩阵、单位范数向量或其它特殊结构时，这些集合都可以被看作流形。
简单易学的两种还原魔方的口诀及公式图解-复圆魔方口决.doc
10-04
简单易学的两种还原魔方的口诀及公式图解-复圆魔方口决.doc
全息干涉计量中干涉计量场的统计特性
03-04
本文运用统计学方法推导了全息干涉计量中散斑计量场的统计特性.证明了:干涉计量场的复振幅为复圆高斯随机变量;干扰计量场强度的概率密度服从负指数分布;散斑干涉计量场的系综平均值代表变形信息.
Riemann流形上的梯度，散度与Laplace算子
weixin_30415801的博客
01-15 1051
今天（准确地说是昨天）被学物理的同学问到Stokes定理，想起来我还有一个知道但没有细看的东西，下面整理成提示完整的习题记录一下。 这部分内容将会加进几何学观止，敬请期待。目前正在纂写代数几何簇的部分。 转载于:https://www.cnblogs.com/XiongRuiMath/p/10269924.html...
（一）共轭梯度算法
秦时明月的博客
06-19 3万+
共轭梯度算法是干什么？ 共轭梯度算法是一种迭代算法，在一次次的对待中最终求得结果，可以类比牛顿迭代法。共轭梯度算法主要用在求解矩阵方程，也就是求解n元一次方程组,如Ax=b的解x。比一般的迭代算法都要快，最多迭代n次就能出结果。 基本思想 共轭梯度法是属于最小化类的迭代方法。为了求解Ax = b这样的一次函数，可以先构造一个二次齐函数 f(x)=12xTAx−bTxf(x) = \frac{1}{...
机器学习知识点(二十三)黎曼流形认知
医疗影像检索
05-04 1万+
对于流形，我在机器学习中的认识就是局部欧式距离的应用，当然其背后强大的数学逻辑也不是一时可以窥全貌，只好先看看一些基础概念。 1、基本概念 流形，是局部具有欧几里得空间性质的空间，是欧几里得空间中的曲线、曲面等概念的推广。欧几里得空间就是最简单的流形的实例。地球表面这样的球面则是一个稍微复杂的例子。一般的流形可以通过把许多平直的片折弯并粘连而成。 流形在数学中用于描述几何形体，它们为研究形体
黎曼流形(转)
良知，自由
04-09 2658
什么是流形？粗浅地说，2维流形就是3维空间的2维曲面。3维流形就比较难想象，因为在4维空间才能完全“看到”3维流形。流形的特点是在流形上每一点都可以建立局部座标系(实空间)。在座标空间中，座标函数可以确定邻域的拓朴性质。比如，在2维流形上每一点都可以建立座标平面。既然有了空间，就可以在空间中引进度量。所谓度量就是空间中点与点之间的“距离”或“长度”。如果在流形的(局部)空间中可以建立黎曼度量(即存
最优化学习笔记（四）共轭梯度法
随煜而安的专栏
07-14 1万+
共轭梯度法详细推导分析
热门推荐
开贰锤
11-29 4万+
共轭梯度法是一种经典的优化算法。算法求解速度较快，虽然比梯度下降法复杂，但是比二阶方法简单。 一、引入 1. 优化模型建立 假定待优化的问题如下所示： min⁡xf(x)=12xTAx−bTx \min_{x} f(x)=\frac{1}{2}x^TAx - b^Tx xmin​f(x)=21​xTAx−bTx 其中xxx为待优化变量，AAA为半正定矩阵（在线性代数中，正定矩阵为对称矩阵），bbb...
共轭梯度法学习笔记
Kevin_Heidashuai的博客
06-27 2751
共轭梯度法是介于最速下降法与牛顿法之间的一个方法，它仅需一阶导数信息，但克服了最速下降法收敛慢的缺点，又避免了牛顿法需要存储和计算Hesse矩阵并求逆的缺点。共轭梯度法的基本思想是把共轭性与最速下降法相结合，利用已知点处的梯度构造一组共轭方向，并沿这组方向进行搜索，求出目标函数的极小点。根据共轭方向的基本性质，这种方法具有二次终止性。 用共轭梯度法求解简单多元函数问题： 引入泰勒展...
梯度法
xyz599的博客
11-18 3004
梯度下降法 博客分类：数学与计算   一、基本概念 梯度下降法，就是利用负梯度方向来决定每次迭代的新的搜索方向，使得每次迭代能使待优化的目标函数逐步减小。梯度下降法是2范数下的最速下降法。最速下降法的一种简单形式是：x(k+1)=x(k)-a*g(k),其中a称为学习速率，可以是较小的常数。g（k）是x(k)的梯度。 二、导数 (1)定义   设有定义域和取值都在实数域
几种常用的优化方法梯度下降法、牛顿法、）
u011584941的专栏
03-23 1万+
几种常用的优化方法 1. 前言 熟悉机器学习的童鞋都知道，优化方法是其中一个非常重要的话题，最常见的情形就是利用目标函数的导数通过多次迭代来求解无约束最优化问题。实现简单，coding 方便，是训练模型的必备利器之一。   2. 几个数学概念 1) 梯度（一阶导数） 考虑一座在 (x1, x2) 点高度是 f(x1, x2) 的山。那么，某一点的梯度方向是在该点坡度
欧几里得范数_从范数到正则化
weixin_39914049的博客
12-11 1059
范数是一个在数学领域中常用的工具，同时也是学习机器学习原理中经常碰到的概念。本文将从范数的定义出发，逐步带你理解其在机器学习中的应用。首先需要明确的是，范数是一个函数，在机器学习中我们通常用它来衡量向量的大小。 范数定义为： 1.常见的范数下面简要介绍一些常见的范数，到这一步暂且只需要记住它们的形式。1.1 范数当p = 2时， 范数也被称为欧几里得范数，表示从远点出发到向量 确定的点的...
梯度（gradient）
qq_15063463的博客
02-18 6697
https://blog.csdn.net/weixin_42018112/article/details/88079998 一般来说，梯度可以定义为一个函数的全部偏导数构成的向量(这一点与偏导数与方向导数不同，两者都为标量)。一般将函数f 的梯度记为∇f，即： 方向导数：给一个方向，出一个实数(函数/标量场沿该方向的变化率)。 梯度：给一个函数/标量场，出一个矢量场(方向为每点方向导数值最大的方向，大小为其变化率的矢量组成的矢量场)。 首先理解“梯度”和“方向导数”要先理解“导数”和“偏导数”..
请写一段使用matlab将欧几里得梯度转化为复圆流形上黎曼梯度的代码
05-16
以下是将欧几里得梯度转化为复圆流形上黎曼梯度的MATLAB代码： ```matlab function riemannian_grad = euclidean2riemannian(manifold, point, euclidean_grad) % manifold: 复圆流形对象 % point: 流形上的点 % euclidean_grad: 欧几里得梯度 % 计算切空间中的欧几里得梯度 tangent_euclidean_grad = manifold.log(point, euclidean_grad); % 计算黎曼梯度 riemannian_grad = manifold.exp(point, tangent_euclidean_grad); end ``` 其中，`manifold` 是复圆流形对象，`point` 是流形上的点，`euclidean_grad` 是欧几里得梯度，`log` 是复圆流形上的对数映射，`exp` 是复圆流形上的指数映射。该函数的输出是复圆流形上的黎曼梯度。 使用该函数可以将欧几里得梯度转化为复圆流形上的黎曼梯度，进而在复圆流形上进行优化等操作。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值