最优化理论学习推导
文章平均质量分 79
最优化理论学习推导
风信子的猫Redamancy
在校本科大学生 B站up小白风信子的猫Redamancy 个人博客地址: https://kedreamix.github.io/
2022第十三届蓝桥杯PythonB组省一等奖,以及国赛一等奖
2022年第十二届MathorCup高校数学建模挑战赛 研究生组 二等奖
对计算机视觉,人工智能,以及机器学习等方面感兴趣
放弃不难 但坚持一定很酷
成功的法则极为简单,但简单并不代表容易
希望自己在这条路上,不孤单,不言弃,不言败
Stay Hungry,Stay Foolish
有时候没有及时回私信等等,可以发邮件咨询,1016617094@qq.com,你们的问题我都会认真看和回答的
展开
-
最优化学习目录
最优化学习目录凸优化问题常见凸优化问题的类型无约束优化问题的最优性条件强凸性下降算法初步与线搜索方法算法收敛性最速下降法(steepest Descent)牛顿法(Newton’s method)拟牛顿法(Quasi-Newton Method)...原创 2021-05-31 01:18:58 · 13107 阅读 · 0 评论 -
最优化学习 数值优化的例子:实现最小二乘法
数值优化的例子:实现最小二乘法上溢和下溢最小二乘法介绍梯度下降法 Gradient Decent牛顿法(Newton's Method)约束优化全部笔记的汇总贴:最优化学习目录上溢和下溢这里先介绍一个数值优化常出现的一个概念上溢和下溢下溢(Underflow):当接近零的数被四舍五⼊为零时发生下溢。上溢(Overflow):当⼤量级的数被近似为∞\infin∞或−∞-\infin−∞时发⽣上溢。必须对上溢和下溢进行数值稳定的⼀个例子是softmax 函数。softmax 函数经常用于预测与范畴原创 2021-06-02 20:34:22 · 11784 阅读 · 0 评论 -
最优化学习 KKT条件(最优解的一阶必要条件)
KKT条件KKT条件(最优解的一阶必要条件)Complementary Slackness 互补松弛条件切锥与约束规范最优解的必要条件线性可行方向集线性无关约束规范(LICQ)引用Farkas 引理证明KKT条件KKT条件(最优解的一阶必要条件)∇f(x∗)+∑i=1mλi∇gi(x∗)+∑i=1lμi∇hi(x∗)=0\nabla f\left(x^{*}\right)+\sum_{i=1}^{m} \lambda_{i} \nabla g_{i}\left(x^{*}\right)+\sum_{i=原创 2021-06-02 00:38:38 · 25635 阅读 · 0 评论 -
最优化学习 约束优化问题
约束优化问题约束优化问题约束优化最优解的特征约束优化问题(P)minf(x)(P) \min f(x)(P)minf(x)s.t. gi(x)⩽0,i=1,…ms.t. \text{ }g_{i}(x) \leqslant 0, i=1, \ldots \mathrm{m}s.t. gi(x)⩽0,i=1,…mhi(x)=0,i=1,….ph_{i}(x)=0, i=1, \ldots . phi(x)=0,i=1,….p非光滑无约束优化问题有时可重构成光滑的约束问题原创 2021-06-02 00:17:52 · 13831 阅读 · 0 评论 -
多元函数的泰勒展开Talor以及黑塞矩阵
一元函数在点xkx_kxk处的泰勒展开f(x)=f(xk)+(x−xk)f′(xk)+12!(x−xk)2f′′(xk)+onf(x) = f(x_k)+(x-x_k)f'(x_k)+\frac{1}{2!}(x-x_k)^2f''(x_k)+o^nf(x)=f(xk)+(x−xk)f′(xk)+2!1(x−xk)2f′′(xk)+on二元函数在(xk,yk)(x_k,y_k)(xk,yk)处的泰勒展开f(x,y)=f(xk,yk)+(x−xk)fx′(xk,yk)+(y−y..原创 2021-04-27 13:02:56 · 9058 阅读 · 0 评论 -
最优化学习 拟牛顿法(Quasi-Newton Method)
拟牛顿法(Quasi-Newton Method)拟牛顿法(Quasi-Newton Method)得到矩阵Bk+1B_{k+1}Bk+1获取Bk+1B_{k+1}Bk+1和Hk+1H_{k+1}Hk+1DFP方法(Davidon-Fletche Powell)BFGS方法(Broyden-Fletcher-Goldfarb-Shannon)Broyden类算法和Sherman-Morrison公式SR-1方法拟牛顿法(Quasi-Newton Method)Quasi−NewtenMethod&原创 2021-05-30 19:57:47 · 15679 阅读 · 0 评论 -
最优化学习 牛顿法(Newton’s method)
牛顿法牛顿法(Newton’s method)收敛性分析 ∃η>0\exists \eta>0∃η>0图示和例子优点和缺陷牛顿法(Newton’s method)最速下降法使对一次微分,牛顿法主要是对二次可微的函数进行判断Newton′s method Newton's \text{ }method \text{ } Newton′s method dk=argminv{∇fT(x)v+12vT∇2f(x)v}=−(∇2f(xk))−1∇原创 2021-05-30 17:02:07 · 12936 阅读 · 0 评论 -
最优化学习 最速下降法(steepest Descent)
最速下降法最速(陡)下降法(steepest Descent)v正则化为2范数v为1范数和v为无穷范数Steepest Gradient的变种坐标轴交替下降法(Coordinate Descent)若f(x)在某点不可微(引入次梯度 subgradient)例子最速(陡)下降法(steepest Descent)v正则化为2范数v为1范数和v为无穷范数Steepest Gradient的变种坐标轴交替下降法(Coordinate Descent)若f(x)在某点不可微(引入次梯度 sub原创 2021-05-30 01:32:27 · 14308 阅读 · 0 评论 -
最优化学习 算法收敛性
算法收敛性梯度下降法分析算法收敛性 - 精确线搜索exact line search分析算法收敛性 - 非精确线搜索Inexact line search(Amijo Rule)梯度下降法dk+1=−∇f(xk)d^{k+1}=-\nabla f\left(x^{k}\right)dk+1=−∇f(xk)f(xk+1)−P∗f(xk)−P∗≤1−mM\frac{f\left(x^{k+1}\right)-P^{*}}{f\left(x^{k}\right)-P^{*}} \leq 1-\frac{m}{原创 2021-05-30 01:26:36 · 13984 阅读 · 0 评论 -
最优化学习 下降算法初步与线搜索方法
下降算法初步与线搜索方法迭代下降算法线搜索基本思路线搜索方法均匀搜索法黄金区间法(0.618法)基于导数信息的二分法非精确先搜索迭代下降算法迭代的策略线搜索方法信赖域方法线搜索基本思路Step 0 给定x0,k=0x_{0},k=0x0,k=0Step 1 是否满足终止条件Step 2 确定下降方向dkd_{k}dkStep 3 选择合适的步长αk\alpha_{k}αkStep 4 xk+1=xk+αkdkx^{k+1}=x^{k}+\alpha_{k} d_{k}xk+原创 2021-05-29 10:45:07 · 12820 阅读 · 0 评论 -
最优化笔记 强凸性
强凸性强凸性当∇f(x)−>0,f(x)−>f(x∗)???\nabla f(x) -> 0, f(x) -> f(x^{*}) ???∇f(x)−>0,f(x)−>f(x∗)???当∇f(x)−>0,x−>x∗???\nabla f(x) -> 0, x -> x^{*} ???∇f(x)−>0,x−>x∗???∃m>0,M>0,∀x∈domf,MI⪰∇2f(x)⪰mI\exists m>0, M>0, \f原创 2021-05-29 10:27:51 · 14688 阅读 · 2 评论 -
最优化学习 常见凸优化问题的类型
常见凸优化问题的类型线性规划分式线性规划转为线性规划最小化多面体函数带二次约束的二次规划二阶锥规划线性规划分式线性规划转为线性规划最小化多面体函数带二次约束的二次规划min12x⊤Q0x+c0⊤x\min \frac{1}{2} x^{\top} Q_{0} x+c_{0}^{\top} x min21x⊤Q0x+c0⊤xs.t. 12xTQix+ci⊤x+bi⩽0,i=0,…,k\text{s.t. }\frac{1}{2} x^{T} Q_{i} x+c_{i}^{\t原创 2021-05-29 00:59:02 · 12668 阅读 · 0 评论 -
最优化学习 凸优化问题
凸优化问题凸优化问题(convex problems)局部最优等同于全局最优(凸优化)x⋆∈Sx^{\star} \in Sx⋆∈S是最优解⇔∇f(x)T(x−x∗)⩾0,∀x∈S\Leftrightarrow \nabla f(x)^{T}\left(x-x^{*}\right) \geqslant 0 ,\forall x \in S⇔∇f(x)T(x−x∗)⩾0,∀x∈S几何解释无约束凸优化问题minf(x)minf(x)minf(x)等式约束凸优化min{f(x)∣Ax=b}\left.\min原创 2021-05-29 00:53:11 · 12749 阅读 · 1 评论 -
最优化学习 无约束优化问题的最优性条件
无约束问题的最优条件考虑无约束优化问题:minf(x) s.t. x∈X⊆Rn\begin{aligned} \min & f(x) \\ \text { s.t. } & x \in X \subseteq R^{n} \end{aligned}min s.t. f(x)x∈X⊆Rn若f(x)为凸函数 则 x∗x^*x∗是最优解 ⇔\Leftrightarrow⇔ ∇f(x∗)=0∘\nabla f\left(x^{*}\right原创 2021-05-29 00:26:58 · 17267 阅读 · 2 评论