最优化方法(学习笔记)
文章平均质量分 94
工科研究生课程,来自B站视频。关键字:线性规划,凸集,凸优化函数,SVM,SVD,等式约束最小化,梯度,1ADMM
oliveQ
这个作者很懒,什么都没留下…
展开
-
最优化方法(学习笔记)-第十一章等式约束优化问题
等式约束优化问题等式约束的基本定义消除等式约束基于feasible初值的牛顿法基于infeasible初值的牛顿法通过解原对偶问题解释原理求解KKT系统实例总结等式约束的基本定义等式约束问题minf(x),s.t.Ax=b,A∈Rp×n,rank(A)=p\min{f(x)},s.t. Ax=b,A\isin R^{p\times n},rank(A)=pminf(x),s.t.Ax=b,A∈Rp×n,rank(A)=pf是凸函数,二次可微,假设p∗p^*p∗是存在且确定的,p<np&l原创 2021-03-19 00:19:53 · 4282 阅读 · 0 评论 -
最优化方法(学习笔记)-第十章无约束优化问题
无约束优化问题无约束优化问题基本形式例子强凸性质条件数下降方法梯度下降法GD算法步骤收敛分析例子最速下降法SD牛顿法直观理解仿射不变性牛顿补偿牛顿法收敛性分析拟牛顿法随机梯度下降SGD总结无约束优化问题无约束优化问题属于限制比较少,适合通过技巧来简化求解过程基本形式minf((x),f(x):Rn→R\min{f((x)},f(x):R^n\rightarrow Rminf((x),f(x):Rn→R假设: 1.f(x)是凸函数2.f(x)二级可导3.存在唯一的优化点x∗,有p∗=infxf(原创 2021-03-14 21:49:32 · 1525 阅读 · 0 评论 -
最优化方法(学习笔记)-第九章复杂度计算
复杂度计算和线性代数补充矩阵结构和算法复杂度用分解矩阵求解线性方程Ax=b简化Ax=b求解的复杂度LU分解--A是非奇异矩阵Cholesky分解--A是对称正定矩阵块求解和矩阵反转引理分块矩阵方程求解结构化矩阵加上低秩项总结矩阵结构和算法复杂度定义Flop Count浮点运算(浮点运算):两个浮点数的一个加法、减法、乘法或除法。估计算法的复杂性:将flop数表示为问题维数的(多项式)函数,并通过只保留前导项不是计算时间的准确预测器,支持读写,并行计算是近似估计举例x,y∈Rn,原创 2021-03-11 00:24:07 · 1943 阅读 · 0 评论 -
最优化方法(学习笔记)-第八章SVM&范数&SVD
SVM&范数&SVD支持向量机SVM线性判别最大分类间隔器支持向量分类器Support vector classifier支持向量机SVM-核函数范数Norm数值的范数矩阵的范数对偶范数奇异值分解SVD总结支持向量机SVM线性判别最大分类间隔器利用线性判别的性质,可以通过最大间隔来做分类【直线是超平面,两侧直线上的点是支持向量】两平面间的距离计算公式于是距离宽度是dist=2a∣∣w∣∣2∝1∣∣w∣∣2dist=\frac{2a}{||w||_2}\propto \fra原创 2021-03-10 15:13:58 · 929 阅读 · 0 评论 -
最优化方法(学习笔记)-第七章统计估计
Statistical estimationLogistic 回归-二分类整体分类思路最大化似然函数最大似然估计MLE带独立同分布噪音的线性测量模型viv_ivi是高斯分布viv_ivi是拉普拉斯分布viv_ivi是均匀分布最大后验概率MAP估计多项分布的MAP&MLE无参数估计最大熵原理最优探测器设计-二分类假设检验探测器/概率转移矩阵最优探测器Binary CaseROC曲线实验设计最小二乘估计D-optimal design总结Logistic 回归-二分类样本{(xi,yi)}i=原创 2021-01-12 00:14:29 · 514 阅读 · 0 评论 -
最优化方法(学习笔记)-第六章逼近与拟合
文章目录范数逼近和最小范数观测m≥\geq≥未知n范数逼近的定义及解释罚函数逼近观测m≤\leq≤未知n最小范数问题最小罚函数问题正则化逼近正则化理解标量化问题Tikhonov regularizationOptimal input designSignal reconstruction信号恢复稳健/鲁棒逼近stochastic随机worst-case最坏对比Robust approximation总结范数逼近和最小范数观测m≥\geq≥未知n范数逼近的定义及解释范数逼近的凸优化问题形式min原创 2021-01-09 01:54:51 · 2553 阅读 · 0 评论 -
最优化方法(学习笔记)-第五章对偶
对偶DualityLagrange dual problem拉格朗日对偶问题弱对偶和强对偶几何解释geometric interpretationKKT条件限制变化与解的关系perturbation and sensitivity analysis例子广义不等式Lagrange dual problem拉格朗日对偶问题弱对偶和强对偶几何解释geometric interpretationKKT条件限制变化与解的关系perturbation and sensitivity analysis例子广原创 2020-11-02 01:03:21 · 1747 阅读 · 2 评论 -
最优化方法(学习笔记)-第四章凸优化问题
凸优化问题凸优化问题及其标准形式标准形式介绍最优化的取值----局部极值,或者全局极值标准形式中的隐式约束Implicit constraint可行域feasibility问题凸优化问题局部最小值和全局最小值的问题可微函数的最优性条件无约束的优化问题等式约束的优化问题特殊优化问题等价凸优化问题消除等式约束引入等式约束不等式约束变成等式约束上凸形式epigraph最小化一些无关变量次凸优化问题quasiconvex optimization次凸函数次凸函数向凸函数的转化通过解可行域进行次凸优化(二分法求解极小原创 2020-10-19 19:09:36 · 13560 阅读 · 0 评论 -
最优化方法(学习笔记)-第三章凸函数
凸函数基本性质保凸运算Conjugate functionQuasiconvex functionLog-concave and log-convex function不等关系的凸性基本性质保凸运算Conjugate functionQuasiconvex functionLog-concave and log-convex function不等关系的凸性原创 2020-08-01 16:20:39 · 3430 阅读 · 1 评论 -
最优化方法(学习笔记)-第二章凸集
凸集基本概念仿射集Affine Set凸集Convex Set凸组合Convex Combination凸包Convex Pull凸锥Convex cone超平面多面体保凸运算不等关系|支撑面对偶总结基本概念仿射集Affine Set定义:集合内任意两个不同的点,都可以形成一条直线,且直线上所有点都在该集合内,形如x=θx1+(1−θ)x2,θ∈Rx=\theta x_1+(1-\theta)x_2,\theta \isin Rx=θx1+(1−θ)x2,θ∈RS={x∣Ax=b}S=\{x|A原创 2020-07-15 21:22:13 · 1877 阅读 · 1 评论 -
最优化方法(学习笔记)-第一章最优化简介
课程链接:最优化方法-上交目录原创 2020-07-08 20:10:23 · 1717 阅读 · 0 评论