算法
文章平均质量分 93
算法(Algorithm)是指解题方案的准确而完整的描述,是一系列解决问题的清晰指令,算法代表着用系统的方法描述解决问题的策略机制。
dew_142857
学而不思则罔,思而不学则殆
展开
-
Matrix Rank Minimization with Application精简版
解决RMP的方法原创 2022-02-22 10:13:04 · 803 阅读 · 0 评论 -
形象易懂讲解算法——压缩感知
在我看来,压缩感知是信号处理领域进入21世纪以来取得的最耀眼的成果之一,并在磁共振成像、图像处理等领域取得了有效应用。压缩感知理论在其复杂的数学表述背后蕴含着非常精妙的思想。基于一个有想象力的思路,辅以严格的数学证明,压缩感知实现了神奇的效果,突破了信号处理领域的金科玉律——奈奎斯特采样定律。即,在信号采样的过程中,用很少的采样点,实现了和全采样一样的效果。这篇文章,我将抛弃复杂的数学表述,用没有公式的语言讲清楚压缩感知的核心思路,尽量形象易懂。我还绘制了大量示意图,因为排版问题,我将主要以PPT的形式呈转载 2022-01-04 20:48:08 · 1323 阅读 · 2 评论 -
从SVD到PCA——奇妙的数学游戏
方阵的特征值当一个矩阵与一个向量相乘,究竟发生了什么?Ax=bAx=bAx=b定义如下的 A 与 x:A=[2102]x=[x1x2]A=\begin{bmatrix}2&1\\0&2\end{bmatrix}\\\\x=\begin{bmatrix}x_1\\x_2\end{bmatrix}A=[2012]x=[x1x2]求得b=[2x1+x22x2]b=\begin{bmatrix}2x_1+x_2\\2x_2\end{bmatrix}b=[2x1转载 2021-10-16 10:55:44 · 172 阅读 · 0 评论 -
优化算法简介
文章目录牛顿法坐标下降法拉格朗日 乘数法凸集典型的凸集凸函数一阶判别法二阶判别法else凸优化的一般表拉格朗日对偶对偶问题KKT条件牛顿法xk+1=xk−αHk−1gk\mathrm{x}_{k+1}=\mathrm{x}_k-\alpha H^{-1}_kg_kxk+1=xk−αHk−1gk问:如何计算H?利用Ax=bA\mathrm{x}=\mathrm{b}Ax=b计算。问:α\alphaα如何得到?用line search直接搜索,比较α=10−3、10−4、10−5、..原创 2021-09-25 20:32:20 · 174 阅读 · 0 评论 -
KKT条件
文章目录1: 等式约束优化问题2: 不等式约束优化问题3: 一个例子1: 等式约束优化问题给定一个目标函数 f:Rn→Rf:\Reals^n\rightarrow\Realsf:Rn→R,我们希望找到 $\textrm{x}\in\Reals^n,在满足约束条件 g(x)=0g(\textrm{x})=0g(x)=0 的前提下,使得f(x)f(\textrm{x})f(x)有最小值。这个约束优化问题记为minf(x)s.t.g(x)=0\begin{aligned}\min\quad &.转载 2021-09-25 20:08:40 · 894 阅读 · 0 评论 -
凸优化学习笔记(1)——仿射集、凸集、凸锥
文章目录仿射集前言定义广义定义如何从k=2推广到k=3性质仿射集的相关子空间性质仿射包定义仿射集前言x1,x2∈Rn,θ∈R\mathrm{x}_1,\mathrm{x}_2\in R^n,\quad\theta\in Rx1,x2∈Rn,θ∈R则过点x1,x2\mathrm{x}_1,\mathrm{x}_2x1,x2的直线可表示为 y=θx1+(1−θ)x2=x2+θ(x1−x2)\mathrm{y}=\theta \mathrm{x}_1+(1-\theta)\mathrm{x}_2=原创 2021-09-29 15:56:28 · 1168 阅读 · 0 评论 -
L1正则化优化问题的一种求解方法
所谓的L1正则化优化问题,就是如下带L1L_1L1正则化的最小化问题:因为L1L_1L1正则项的不可微性,使得利用梯度相关方法直接求解上面的优化问题有困难。下面介绍的方法,是把这个L1L_1L1优化问题,变换为多个L2L_2L2正则化优化问题逐步迭代求解。把不等式∣ab∣≤12(a2+b2)|ab| \leq \frac12 \left( a^2 + b^2 \right)∣ab∣≤21(a2+b2)应用到θ\thetaθ向量中的每个元素:就有:其中C≜diag(c)\mathbf{C}\转载 2021-09-03 17:06:07 · 1703 阅读 · 0 评论 -
优化算法的简介
文章目录定义一般优化问题的模型优化 = 数学规划定义定义: 从一个可行解的集合中,寻找出最优的元素。优化三要素:可行解的集合存在最优的元素寻找最优解的方法一般优化问题的模型minf0(x)s.t.fi(x)≤bi, i=1,...,M\min f_0(\mathrm{x})\\s.t.\quad f_i(\mathrm{x})\le b_i,\;i=1,...,Mminf0(x)s.t.fi(x)≤bi,i=1,...,M参数说明:x=[x1,...,xn]T\ma原创 2021-08-03 08:42:30 · 586 阅读 · 0 评论