优化算法
文章平均质量分 60
i春暖花开
这个作者很懒,什么都没留下…
展开
-
<优化算法>下降方法descent method
1:目标 对于无目标约束问题进行最小值求解问题。 x(k+1)=x(k)+t(k)Δx x(k+1)=x(k)+t(k) \Delta x 等式为迭代关系,其中 t(k) 为第k次的迭代步长。Δx \Delta x 搜索方向。 对于求其最优解,即是考虑求其最小值。我们所有学的下降方法满足迭代的后一项应该是小于前一项的,之为下降,这样才可能到达最小值点。即是满足 f(x(k+1))<f(原创 2015-10-08 00:40:13 · 1572 阅读 · 0 评论 -
<机器学习练习>逻辑斯谛回归
一:线性回归线性回归假设特征和结果满足线性关系。线性回归,就是线性拟合,拟合就是找到那条线,对残差平方和最小的那条直线。 比如说:我们要模拟房子的大小(x1x_{1}),房子的位置(x2x_{2})。。。对于房价(yy)的影响。假设他们是线性关系。则,我们要找的是特征x1,x2...{x_{1},x_{2}}... 和房价(yy)的关系:h(θ)=θ0+θ1x1+θ2x2....=θTXh(\th原创 2016-06-05 19:43:31 · 2607 阅读 · 0 评论 -
<数值分析>学习笔记
说明:数值分析要考试了,把一些东西总结一下,留着以后看看,也加深理解一下。 1:直接求解:Gauss消去法,LU分解 2:迭代求解:jacobi,Gauss-Seidel ,超松弛法,共轭梯度法 3:特征值求解:幂法和反幂法LU 分解%%%LU 分解function [A]=lu_ijk(A)%Doolittle分解 以对角线为分界限 两次for循环 [n,n]=size(A)原创 2016-05-27 23:57:00 · 3781 阅读 · 1 评论 -
Proximal Gradient Method近端梯度算法
本文参考文献附在最后。是对参考文献的理解。 1:此算法解决凸优化问题模型如下:minF(x)=g(x)+h(x)min F(x)=g(x)+h(x)其中g(x)g(x)凸的,可微的。h(x)h(x) 闭的凸的。其中g(x),h(x)是由F(x)g(x),h(x)是由F(x) 分离出来的两项,当F(x)F(x) 分离的结果不同,即使是同一个问题,算法的实现方式也不尽相同, 2:算法的实现 1)对原创 2016-01-02 16:20:32 · 24975 阅读 · 7 评论 -
l1范数最小化快速算法
1:解决的问题模型如下: 或者约束条件可以适当的松弛,即为如下模型: 当然约束条件取l2l_2范数,bb数据获取的比较准确,结果逼近的效果更好,防止过拟合。如果取l1l_1 范数,则是获取的bb数据,受到污染比较严重。并且bb 本身就是稀疏的。这也是人的经验对于模型的成功也是很重要的。 2:几类优化算法 (1)梯度投影算法Gradient Projection Methods原创 2016-01-15 00:46:55 · 25417 阅读 · 0 评论 -
K-SVD算法学习
1:稀疏表示: 考虑线性等式,或者是线性逼近。X=DaX=Da,这里的D是M∗PM*P 的矩阵。称为字典(字典学习中),测量矩阵(压缩感知中),权重矩阵(多任务学习中),其中M<<PM<<P。DD 中的每一列称为原子。其模型为min||a||0min ||a||_0 s.t.X=Das.t.X=Da 等价于min1/2||X−Da||22+λ||a||0min 1/2||X-Da||_2^原创 2016-01-06 21:04:33 · 6431 阅读 · 0 评论 -
矩阵填充的SVT算法
本文是对SVT的一篇文章的理解,即奇异值阈值算法的理解。 1:算法解决的问题如下: 其中最小化的是核范数(表示矩阵奇异值之和),是rank(X)的最优凸近似。 具体研究解决的是矩阵填充问题,如何在不完备的数据下把缺少的数据给补充完整。前提是填充的矩阵是要求低秩的。 首先给出软阈值算子:如果 那么在软阈值算子下有: 其中t+=max(0,t)t_+=原创 2015-12-30 17:36:46 · 19816 阅读 · 5 评论 -
soft thresholding 软阈值算法
软阈值算法解决的是如下优化模型:min1/2||X−b||22+λ||X||1min 1/2||X-b||_{2}^2+\lambda||X||_{1} 首先给出软阈值作用的图像: 其中左边的是原始信号,右边的是软阈值作用后的结果。 现在我们看一下这个优化模型怎么用软阈值算法来求解。 很显然上述问题的最优解其实就相当于阈值为λ\lambda 的一个软阈值作用的结果。%% soft t原创 2016-01-02 13:30:00 · 19098 阅读 · 13 评论 -
稀疏问题的学习2
补充:对于矩阵恢复问题上述应用 ,那么为什么可以核范数近似等于矩阵的秩,1范数近似等于0范数呢,文章中给出的解释是A的核范数是rank(A)的最优凸近似,1范数是0范数的最优凸近似。所以上述问题就转为凸优化问题。从而更容易求解问题。 1:对于矩阵重建问题的应用。 1)矩阵填充问题:最著名的当属netflix填充系统。很多部电影,很多人去评论,不可能每个人评论完每一部电影原创 2015-12-28 23:50:52 · 1023 阅读 · 0 评论 -
稀疏问题的学习
1:矩阵的填充问题。 矩阵填充问题,考虑的是采样得到的一个矩阵,这个矩阵并不是完整的,只能得到一部分的元素。如何利用已有的元素,去把未知的元素给填充完整。不是说任意不完全的矩阵都可以直接填充的,现有的算法必须要求这个矩阵是有信息冗余的,换句话说必须要求这个矩阵是低秩的。 那么就是解决如下优化问题:min:Rank(X) min:Rank(X)s.t:Xij=Mij s原创 2015-12-13 13:05:52 · 2122 阅读 · 1 评论 -
动态规划笔记
动态规划笔记由于自己是非计算机专业,而对编程学习比较感兴趣,特学习算法导论一书,根据书上伪代码来练习,一来提高自己算法思维,二来督促自己好好学习,不能虚度光阴。一:思想 动态规划,通常用来求解最优化问题,这类问题有很多可行解,我们希望寻找其最优解,通常是最大值最小值。 具体步骤就是一个大问题可以分为很多子问题,通过求解小规模的子问题,进而组合子问题得到原问题的解。使用动态规划解决问题,需要原创 2016-12-29 20:38:14 · 633 阅读 · 0 评论