最速下降法 python_鞍点近似法及其应用

最新推荐文章于 2024-11-21 15:05:58 发布
最新推荐文章于 2024-11-21 15:05:58 发布
阅读量860 收藏 1
点赞数
文章标签： 最速下降法 python 最速下降法matlab
本文介绍了鞍点近似法（最速下降法），它是积分近似的一种强大方法，广泛应用于量子力学和统计力学。在量子力学中，它体现在波包的稳定相位近似和WKB近似；在统计力学中，用于微正则系综的密度矩阵计算。文章通过实例解释了如何找到最速下降方向，并展示了该方法在不同物理问题中的应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

最近recitation上提到鞍点近似法(saddle point approximation，也称最速下降法)的时候，很多同学都一脸懵逼(这就很让人尴尬了==)。虽然在本科课程里有各式各样的方法绕过它，但是由于这个近似手段使用起来相当便捷，而且也几乎出现在所有的物理领域里，所以感觉还是有必要小小总结一下的(没错，逃的课总是要还的。犹豫，就会白给)。

一、数学基础

鞍点近似法是积分近似众多手段中相当强大的一种，它考虑的是如下复平面内的积分

当

为正的大实数时的渐进行为(asymptotic behavior)。数学上我们要求
为复变量
的解析函数(analytic function)，此外积分在路径
的两端应当是收敛的(注意到解析函数的性质决定了
没有极值，因此我们只能够找到鞍点)。

553006a4c1b7701bb2d0f426d6bfb283.png
图1. 鞍点示意图(摘自Arfken第598页)

现在我们试想对路径

做一个变形。我们使其通过函数
的
鞍点
(见图1)，并且沿着
最速下降(the steepest descent)的方向离开鞍点(这一点很重要)。想象一下如果我们沿这条线把上图的马鞍劈开，得到的剖面在保留至二次项的情况下可以近似为一个高斯函数：

这里的一次项被省略了，由于在鞍点我们有

首先我们先检验一下这个近似带来的误差。从(1.2)式我们知道这个高斯函数的宽大致为

，因此
越大，高次项越无关紧要。

那么有同学就会问了，怎么确定通过鞍点的方向(即最速下降方向)呢？这里我们可以利用复数的极坐标形式

现在再来看看

最低0.47元/天 解锁文章
最优化算法与matlab应用3：最速下降法
wjyxld的博客
04-02 9150
最优化算法与matlab应用3：最速下降法 最速下降法上一种沿着N维目标函数的负梯度方向搜索最小值的方法。 （1）算法原理 函数的负梯度表示如下： 搜索步长可调整ak，通常记为 （第k次迭代的步长）。该算法利用一维的线性搜索方法，如二次逼近法，沿着负梯度方向不断搜索函数的较小值，从而找出最优解。 （2）算法步骤 （3）算法实现 %用最速下降法求最优化解 F3= inline('x(1)*(x(...
最优化方法 20：对偶近似点梯度下降法
Glooow的博客
04-23 4375
前面讲了梯度下降、次梯度下降、近似点梯度下降方法并分析了收敛性。一开始我们还讲了对偶原理，那么如果原问题比较难求解的时候，我们可不可以转化为对偶问题并应用梯度法求解呢？当然可以，不过有一个问题就是对偶函数的梯度或者次梯度怎么计算呢？这就是这一节要关注的问题。 首先一个问题是哪些形式的问题，其对偶问题相比于原问题更简单呢？可能有很多种，这一节主要关注一种：线性等式/不等式约束的优化问题。之所以考虑此...
Saddlepoint Approximation Methods in Financial Engineering
05-15
2019年新书，介绍金融优化中近似鞍点计算，供金融工程、金融数学研究者和从业者参考。
双非中心 Beta 分布函数：计算 Beta 分布的鞍点近似-matlab开发
06-01
计算双重非中心的 PDF 的鞍点近似值贝塔分布。 代码是由“中间概率”产生的Marc Paolella，2007 年，第 370 页，清单 10.11。 注意：积分由于鞍点，归一化略大于 1 近似。 建议：使用四边形标准化。 用法f = SPncbetapdf(bvec,n1,n2,theta1,theta2) 您也必须拥有 SPncfpdf.m（在此处下载）。
鞍点
gjl的博客
06-24 1万+
在数学中，鞍点或极小值点是函数图形表面上的一个点，其正交方向上的斜率(导数)均为零(临界点)，但不是函数的局部极值。一句话概括就是： 一个不是局部极值点的驻点称为鞍点。 驻点：函数在一点处的一阶导数为零 如下图所示，是函数 z = x2 - y2 图像，其鞍点在 (0, 0) 位置。函数 z 的整个曲面看上去就像是一个马鞍，其在 x 轴方向向上曲，在 y 轴方向向下曲。所以这也是鞍点这个名字的由...
最速下降法原理及例题实例
04-17
算法分析应用，适用于初期学习。文档中包含公式，案例，程序的分析
最速下降
CV老李的博客
11-29 629
最速下降 我们讨论的依然是变分法求解Ax=bAx = bAx=b的问题 对问题的描述已经在上一章完全叙述过了。 传送门： [link]（https://blog.csdn.net/weixin_29732003/article/details/103310961） 最速下降法算法在大多数数值分析的教程中会有详细的说明。 我对这个方法的迭代过程做一个简洁的说明： 我们做用迭代法解线性方程组的时候只关...
python使用梯度下降和牛顿法寻找Rosenbrock函数最小值实例
12-20
总结来说，这篇实例通过比较梯度下降法和牛顿法在求解Rosenbrock函数最小值上的应用，展示了优化算法在寻找函数极小点时的不同策略和性能。这些知识对于理解和实现优化算法，尤其是在机器学习模型的训练过程中，是...
Newton_Method_ROOT_Python实现割线法求非线性方程的根_
09-29
例如，在机器学习中，优化模型的损失函数时经常使用梯度下降法，这实际上就是一种基于切线的优化策略。 ### 注意事项 在实际应用牛顿法时，需要注意以下几点： 1. **初始猜测**：选择一个好的初始猜测值对算法的...
Python实现：梯度下降与牛顿法求解Rosenbrock函数最小值
本文介绍如何使用Python实现梯度下降法和牛顿法来求解Rosenbrock函数的最小值。Rosenbrock函数是一种常用于测试优化算法性能的非线性函数，具有鞍点和宽谷特征。作者分别展示了两种优化方法的更新公式，并通过代码...
基于鞍点逼近的机械结构可靠性稳健优化设计 (2012年)
06-12
将可靠性优化设计理论与可靠性灵敏度分析方法相结合,讨论了机械零部件稳健优化设计的问题.系统地推导了基于鞍点逼近的可靠性灵敏度公式,并把可靠性灵敏度计算结果融入可靠性稳健优化设计模型之中,将可靠性稳健优化设计归结为满足可靠性要求的多目标优化问题.在基本随机参数概率分布已知的前提下,应用鞍点逼近技术,得到极限状态函数的分布函数与概率密度函数,并且将此结果应用到机械零部件的可靠性灵敏度分析中,进而实现了机械零部件的可靠性稳健优化设计.通过与Monte-Carlo方法计算所得的结果相比可知,应用鞍点逼近技术可以迅
优化问题 | 梯度下降的知识整理、Python实现及batch_size参数的总结
然然然然_
10-27 1397
主要介绍了批梯度下降、随机梯度下降、小批量梯度下降及其算法实现和对学习率参数的数据模拟；更多的自适应算法；batch_size参数的一些总结和数据模拟。
漫步最优化三十二——最速下降法
蜗牛
10-26 5063
爱需要勇气，\textbf{爱需要勇气，} 但是也许是天意，\textbf{但是也许是天意，} 让我爱上你，\textbf{让我爱上你，} 也许轮回里早已注定，\textbf{也许轮回里早已注定，} 今生就该还给你。\textbf{今生就该还给你。} 一颗心在风雨里，\textbf{一颗心在风雨里，} 飘来飘去，\textbf{飘来飘去，} 一直都在等待你。\textbf{一直都在等待
【无标题】
2301_80264147的博客
08-27 1648
局部极小值是指在参数空间中某个点附近的所有点中，该点的损失值是最小的。换句话说，在该点的周围，无论如何调整参数，损失都会增加。因此，当模型的参数收敛到局部极小值时，优化过程就停止了。
积分路径上有奇点的积分_路径积分 BCS 理论
weixin_34483980的博客
12-21 1619
BCS 有效作用量电-声相互作用自由声子的哈密顿量为： 其中 是声子能量。声子是晶格振动的准粒子，与电子相互作用的微观机制是在电中性背景下由于晶格离开平衡位置产生局部电荷，从而对电子产生作用，即 其中 是耦合常数， 是电子密度算符， 是晶格畸变产生的电荷，其大小正比于晶格振动坐标 的散度： 量子化下的晶格简正坐标为： 求散度得到： 电-声相互作用为： 其中电子密度算符傅立叶变换具体为： ...
最速下降法解析（理解笔记）
晓晨的博客
09-23 2万+
我们在高中或本科时期就了解到：当函数存在解析形式且容易进行求导（f(x)f(x)f(x)在最优点 x∗x^*x∗附近可微），那么 x* 是局部极小点的必要条件为： df(x∗)=0df(x^*)=0df(x∗)=0。 然而，并不是所有的函数都容易求导，或者求导之后进行计算。所以引出了一系列基于最小二乘的优化算法如：“最速下降法、梯度下降法、牛顿法、高斯牛顿法、LM算法”。 下面简单记录一下基本的最小二乘法步骤及实例。 最速下降法 简要介绍： 第一步，选取一个迭代的初始值，设置迭代终止的阈值，第一次迭代k=
优化算法之——最速下降法
热门推荐
yh的博客
03-15 8万+
引言：在解决无约束问题时，经常用到的一类算法是最速下降法，在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和模型参数值。反过来，如果我们需要求解损失函数的最大值，这时就需要用梯度上升法来迭代了。在机器学习中，基于基本的...
最速下降法及案例分析(含MATLAB代码)
qq_57510464的博客
07-09 1万+
最速下降是迭代法的一种,可以用于求解最小二乘问题(线性和非线性都可以)。在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和模型参数值。反过来，如果我们需要求解损失函数的最大值，这时就需要用梯度上升法来迭代了。1对于给定的函数f(x)f(x)f(x)由泰勒展开得：f(x)=f(x0)+∇f(x)(x−x0)+∇f(x)(x−x0)
最速下降法&高斯牛顿法&LM&共轭梯度法&预条件共轭梯度法
最新发布
weixin_41469272的博客
11-21 1070
文章目录最速下降法原理伪代码优点与局限性C++ 示例代码高斯牛顿法原理伪代码优点与局限性C++ 示例代码LM 法（Levenberg-Marquardt 法）原理优点与局限性伪代码C++ 示例代码共轭梯度法提出原理伪代码C++ 示例代码预条件共轭梯度法原理优点与局限性伪代码C++ 示例代码参考链接 本文对最速下降法、高斯牛顿法、LM 法（Levenberg-Marquardt 法）、共轭梯度法以及预条件共轭梯度法进行介绍 最速下降法 原理 目标函数： 最速下降法基于多元函数的梯度概念。对于一个目标函数
用R语言先载入GLMsData包，再载入数据集belection，用数据集belection完成 1.Fit the Binomial glm with a logit link function, using the systematic component cbind(Females, Males) ~ Party * Region. Use the analysis of deviance table to select a suitable model. 2.Fit the Binomial glm with a logit link function, using the selected model in the above question. Conduct a diagnostic analysis, i.e. plot: (1) deviance residuals against transformed fitted value; (2) Cook’s distance; (3) Q-Q plot, and then comment. 3. Is overdispersion evident? 4.Find out the estimate coefficient for the PartyLabour and interpret it. 5. Determine if the saddlepoint approximation is likely to be suitable for these data. 步骤要详细
06-12
好的，我会尽力解答您的问题，以下是详细步骤： 1.首先要安装 GLMsData 包，可以使用以下命令完成安装： ```R install.packages("GLMsData") ``` 2.安装完成后，载入 GLMsData 包和 belection 数据集： ```R library(GLMsData) data(belection) ``` 3.接下来进行模型拟合。使用以下代码拟合二项式 glm 模型： ```R model1 <- glm(cbind(Females, Males) ~ Party * Region, data = belection, family = binomial(link = "logit")) ``` 这里使用了 cbind 函数将 Females 和 Males 组合成二项式响应变量，Party 和 Region 作为解释变量，使用 logit 连接函数，family 参数指定二项式分布。 4.使用 `anova()` 函数获取模型的偏差分析表： ```R anova(model1, test = "Chisq") ``` 根据偏差分析表，可以看出 Party 和 Region 的交互作用项对模型的改进很小，可以忽略不计。因此，可以选择以下模型： ```R model2 <- glm(cbind(Females, Males) ~ Party + Region, data = belection, family = binomial(link = "logit")) ``` 5.进行诊断分析，首先可以绘制 deviance residuals vs transformed fitted value 的散点图： ```R plot(model2, which = 1) ``` 如果散点图中没有出现任何明显的模式，说明模型拟合良好。否则，可能需要进一步检查模型的假设是否成立。 6.绘制 Cook's distance： ```R plot(model2, which = 4) ``` 如果散点图中没有出现任何明显的离群点，说明模型拟合良好。否则，需要进一步检查这些点是否对模型的拟合产生了显著的影响。 7.绘制 Q-Q 图： ```R plot(model2, which = 2) ``` 如果 Q-Q 图中的点落在一条直线上，说明模型的残差服从正态分布。否则，需要进一步检查模型的假设是否成立。 8.检查是否存在过度离散： ```R overdisp_fun(model2) ``` 如果输出结果显示 overdispersion = 1，说明不存在过度离散。否则，需要考虑使用泊松回归或负二项式回归等模型。 9.计算 PartyLabour 的估计系数： ```R coef(model2)["PartyLabour"] ``` 10.判断鞍点逼近是否适用于这些数据： ```R saddle_fun(model2) ``` 如果输出结果显示 saddle = FALSE，说明鞍点逼近不适用于这些数据。否则，可以使用鞍点逼近来估计模型参数。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值