convex optimization
文章平均质量分 79
bitcarmanlee
这个作者很懒,什么都没留下…
展开
-
约束优化之Lagrange乘子法KKT条件对偶问题最容易理解解读
1.无约束优化的常用方法在讲带约束优化方法之前,我们先简单回顾一下常用的无约束优化方法。1.梯度下降法2.牛顿法/拟牛顿法3.共轭梯度法…上面梯度系列的无约束条件下的最优化,基本解法是根据极值的必要条件一阶导数为0,通过泰勒展开等形式,构造不同数列不断逼近最优解。2.带约束的优化实际情况中,不带约束的场景比较少见,大部分都为带约束的优化问题。看一个大家都用的图:上图中,蓝色的圈圈表示二元函数f(xy)投影在平面上的等高线,而蓝色的箭头则表示函数梯度方向。如果是不带预约条件的优化,我们直接原创 2022-05-25 11:09:57 · 802 阅读 · 0 评论 -
liblinear简介
1.liblinear是什么liblinear是国立台湾大学林智仁教授开发的一个工具包。林教授个人官网https://www.csie.ntu.edu.tw/~cjlin/其中关于liblinear,官网首页是这么介绍的:a library for large linear classification. It is very suitable for document classification. Version 1.0 released in April 2007.Current Ver原创 2021-11-30 10:30:11 · 2107 阅读 · 0 评论 -
共轭梯度法(Conjugate gradient)详解
1.什么是共轭向量对于正定矩阵Q,如果有xTQy=0x^TQy = 0xTQy=0那么我们可以称x, y是关于Q-conjugate。2.线性方程组求解与二次函数求极小值转化最初,共轭梯度法是用来求解线性方程Ax=bAx = bAx=b的一种方法,特别是稀疏线性方程组迭代求解法里面最优秀的方法,其被称为线性共轭梯度法。后来,人们把这种方法慢慢推广到了非线性问题求解中,称为非线性共轭梯度法。求解Ax=bAx = bAx=b时,最简单粗暴的方式为x=A−1bx = A^{-1}bx=A−1b。但是这原创 2021-11-24 20:00:57 · 27231 阅读 · 8 评论 -
梯度下降法,牛顿迭代,牛顿法,拟牛顿法总结对比
1.梯度下降梯度下降是优化方法中最基础也是最重要的一类。其思想也很简单:f(x)=f(x0)+f′(x0)(x−x0)+⋯f(x) = f(x_0) + f'(x_0)(x-x_0) + \cdotsf(x)=f(x0)+f′(x0)(x−x0)+⋯上面是函数f(x)的一阶泰勒展开。如果我们令xk+1=xk−f′(x0)x_{k+1} = x_k - f'(x_0)xk+1=xk−f′(x0)很明显可以看出f(xk+1)<f(xk)f(x_{k+1}) < f(x_k)f(原创 2021-11-23 20:28:04 · 3859 阅读 · 0 评论 -
线性插值 多项式插值 样条插值 牛顿插值总结
1.什么是插值在数值分析中,插值(interpolation)是一种通过已知的、离散的数据点,在范围内推求新数据点的过程或方法。求解科学和工程的问题时,通常有许多数据点借由采样、实验等方法获得,这些数据可能代表了有限个数值函数,其中自变量的值。而根据这些数据,我们往往希望得到一个连续的函数(也就是曲线);或者更密集的离散方程与已知数据互相吻合,这个过程叫做拟合。与插值密切相关的另一个问题是通过...原创 2019-01-19 20:53:26 · 23266 阅读 · 0 评论 -
凸优化系列一:什么是最优化算法
1.优化问题的一般形式最优化问题的一般数学形式为:minf(x)s.t.x∈Xmin f(x) \\s.t. \quad x \in Xminf(x)s.t.x∈X其中,x∈Rnx \in R^nx∈Rn为自变量,f(x)f(x)f(x)为目标函数,x⊂Rnx \subset R^nx⊂Rn为约束集或者说可行域。如果上面的优化问题中,s.t.x∈Xs.t. x \in Xs.t.x∈X这...原创 2019-01-20 21:28:27 · 3521 阅读 · 0 评论 -
凸优化系列二:确定步长一维搜索算法
1.精确一维搜索与非精确一维搜索在上一篇文章中,我们提到第k次的迭代公式为:xk+1=xk+αkdkx_{k+1} = x_k + \alpha_kd_kxk+1=xk+αkdk其中,αk\alpha_kαk表示步长。接下来我们讨论一下怎么确定步长。我们令φ(αk)=f(xk+αkdk)\varphi(\alpha_k) = f(x_k + \alpha_k d_k)φ(αk...原创 2019-01-21 23:29:29 · 14314 阅读 · 0 评论