最优化计算方法
小明知道
来自中科院自动化所
展开
-
Trust-Region with DogLeg method 信赖域和狗腿法的最优化求解
刚上研一,我选了一门叫《最优化算法的课》,里面讲到有很多优化的算法,如大家耳熟能详的梯度下降法、牛顿法等等,这些算法大量运用于《数据挖掘》《模式识别》《机器学习》等课程之中,解决一些回归、拟合及模式分类的一些参数优化问题。《最优化计算方法》中讲了很多参数的优化算法,本文主要讲一下“信赖域 with 狗腿法“算法。 我们遇到的大多数是一些实际的问题,这门课是我们学校数学学院开的,原教材里讲原创 2014-09-29 21:10:24 · 12513 阅读 · 12 评论 -
最速下降法 的原理以及在回归分析中的应用
上两节讲了信赖域法+狗腿法,其中第二节中的(“强凹凸二次函数”改为“强凸二次函数”),这一节将会讲最速下降法SD,最速下降法在模式识别和机器学习中运用最为广泛,在Deep Learning中也应用了最速下降法,尤其在在卷积神经网络中,熟悉CNNs(convolutional neural networks )的人知道卷积神经网络大量用于图像识别与跟踪。利用最速下降法在反馈调节中调参,在CUDA原创 2014-10-03 21:27:51 · 5844 阅读 · 2 评论 -
信赖域法+狗腿法在回归分析中的应用
第一节上节已经讲了信赖域法+狗腿法解决强凹凸二次函数,现在把这个方法引用于Multivariance Linear Regression中,以解决一些机器学习及其模式识别的问题。同时现在回归问题也大量运用于Deep learning之中。通常模式问题进行参数调整时都会涉及到学习率α的问题,而我们通常是自己给定的,比如0.01或者0.1,这样的结果可能会使迭代次数增加或者损失函数成震荡状况。下面原创 2014-10-02 00:12:12 · 2848 阅读 · 4 评论 -
QP问题的解法(拉格朗日乘子法)
function [x,lam,fval]=qlag(H,A,b,c) % 拉格朗日法求解二次规划问题 % min f(x)=0.5*x'Hx+c'x, s.t. Ax=b % input: H,c分别是目标函数的矩阵和向量,A% ,b分别是约束条件中的矩阵和向量 % output:(x,lam)是KT点,fval是最优值 IH=inv(H); AHA=A*IA*A原创 2014-11-30 12:36:58 · 27829 阅读 · 1 评论 -
MATRIX FACTORIZATION(矩阵分解)-正则化奇异值分解Regularized Singular Value Decomposition (RSVD)
下面讲解介绍一种矩阵分解的方法,这个方法是非常实用的。考虑一个m×n的矩阵R,现在是想找到一个U和V矩阵,使其满足,(矩阵R可能是一个稀疏的矩阵)。正规化的奇异值分解(the Regularized Singular Value Decomposition,RSVD)的方法被用来评价一个矩阵。下面给出正则化奇异值分解的极小化函数和参数求解的算法 最终将得到一个低维的矩阵原创 2015-01-20 13:40:52 · 4849 阅读 · 9 评论 -
共轭梯度法(Conjugate Gradient Methods-CG)在回归分析的应用和比较
前4节讲了Trust-Region+DogLeg、最速下降法(SD)、Barzilar, Borwein(BB)法。 信赖域法:Trust-Region+DogLeg 梯度法:最速下降法(SD)、Barzilar, Borwein(BB)。 这节将会讲一种共轭梯度法(CG),将和前面几种方法进行比较,比较其收敛性和最小迭代次数。 共轭梯度法(原创 2014-10-06 11:27:15 · 4913 阅读 · 2 评论 -
L-BFGS的原理及在回归分析中的应用
L_BFGS.原创 2014-10-10 22:02:03 · 3104 阅读 · 0 评论 -
《最优化计算方法》这门课中所有的方法在回归分析的比较与分析
现在我直接给出实验结果和代码,公式推导在前面几节已经给出,现在给出分析。 实验结果原创 2014-10-09 18:52:26 · 2582 阅读 · 0 评论 -
(BB)Barzilar, Borwein在回归分析中的应用
前面3节讲了信赖域法+狗腿法、最速下降法原创 2014-10-04 18:52:24 · 2540 阅读 · 1 评论 -
在BFGS中,线搜索方法确定步长α
对于步长α分为精确线搜索和原创 2014-10-10 15:54:10 · 10173 阅读 · 6 评论 -
拟牛顿法(DFP、BFGS)在回归分析中的应用
现在来讲拟牛顿法,第一种拟牛顿法原创 2014-10-07 12:39:48 · 2521 阅读 · 1 评论 -
牛顿法在回归分析中的应用
前面已经讲过一些参数优化的方法,现在来讲牛顿法在回归分析原创 2014-10-07 12:08:24 · 1569 阅读 · 4 评论 -
matlab利用hinge loss实现多分类SVM
介绍hinge losscode1 介绍本文将介绍hinge loss E(w)E(w)以及其梯度∇E(w)\nabla E(w)。并利用批量梯度下降方法来优化hinge loss实现SVM多分类。利用hinge loss在手写字数据库上实验,能达到87.040%的正确识别率。2. hinge loss根据二分类的SVM目标函数,我们可以定义多分类的SVM目标函数: E(w1,…,wk)=∑原创 2017-03-15 09:56:35 · 10626 阅读 · 17 评论