GUI Research Group
机器学习, 生物信息
展开
-
文献学习(part90)--How Can Machine Learning and Optimization Help Each Other Better?
学习笔记,仅供参考,有错必纠关键词:优化;机器学习;概括能力;数据文章目录How Can Machine Learning and Optimization Help Each Other Better?摘要IntroductionDifferent Optimization Goals between the Machine Learning and the Optimization CommunitiesHow Can Machine Learning and Optimization Hel原创 2021-08-04 16:33:31 · 477 阅读 · 0 评论 -
文献学习(part89)--Diversity-induced Multi-view Subspace Clustering
学习笔记,仅供参考,有错必纠文章目录Diversity-induced Multi-view Subspace Clustering摘要IntroductionRelated WorkThe Proposed MethodNaive Multi-view Subspace ClusteringDiversity-induced Multi-view Subspace ClusteringRepresentation Diversity TermSolving the Optimization Probl原创 2021-08-05 10:30:34 · 370 阅读 · 0 评论 -
文献学习(part88)--Graph Learning for Multiview Clustering
学习笔记,仅供参考,有错必纠文章目录Graph Learning for Multiview Clustering摘要IntroductionRelated WorkGRAPH LEARNINGOptimizationSingle View Graph LearningGlobal Graph LearningConvergence Analysis(略)Computational Complexity Analysis(略)EXPERIMENTAL RESULTS(略)DatasetsExperime原创 2021-08-03 11:08:53 · 508 阅读 · 0 评论 -
优化技巧与理论(part1)
学习笔记,仅供参考,有错必纠增加常数简化目标函数形式例如,对于以下目标函数:在目标函数后增加常数,使其简化:原创 2021-08-03 10:13:37 · 182 阅读 · 0 评论 -
文献学习(part87)--Linearized Alternating Direction Method with Adaptive Penalty for Low-Rank ...
学习笔记,仅供参考,有错必纠文章目录Linearized Alternating Direction Method with Adaptive Penalty for Low-Rank Representation摘要IntroductionLinearized Alternating Direction Method with Adaptive PenaltyThe Alternating Direction MethodLinearized ADMAdaptive PenaltyConvergen原创 2021-08-02 21:14:56 · 757 阅读 · 1 评论 -
优化案例(part8)--Robust Recovery of Subspace Structures by Low-Rank Representation
学习笔记,仅供参考,有错必纠文章目录目标函数优化方案算法流程目标函数为了从被误差E0(X=X0+E0)E_0(X = X_0+E_0)E0(X=X0+E0)破坏的给定观测矩阵X中恢复低秩矩阵X0X_0X0,考虑以下正则化秩最小化问题是简单的:其中,λ>0\lambda > 0λ>0是一个参数,∣∣⋅∣∣l||\cdot||_l∣∣⋅∣∣l表示某种正则化策略,如Fig. 2(a) 展示了用于对噪声建模的Frobenius范数,[7]采用的L0L_0L0范数用于表原创 2021-08-02 08:45:43 · 535 阅读 · 0 评论 -
优化案例(part7)--Latent Multi-view Subspace Clustering
学习笔记,仅供参考,有错必纠文章目录目标函数优化方案P-子问题H-子问题Z-子问题E-子问题J-子问题更新乘数算法流程目标函数最终目标函数为:其中,∣∣⋅∣∣∗||\cdot||_*∣∣⋅∣∣∗表示矩阵核范数,其强制子空间表示为低秩,数学形式也可表达为∣∣A∣∣∗=rank(A)||A||_*=rank(A)∣∣A∣∣∗=rank(A). ∣∣⋅∣∣2,1||\cdot||_{2, 1}∣∣⋅∣∣2,1称为L2,1L_{2, 1}L2,1 -范数,鼓励矩阵的列为0[18],矩阵(a)原创 2021-08-01 15:37:33 · 422 阅读 · 1 评论 -
优化案例(part6)--Feature co-shrinking for co-clustering
学习笔记,仅供参考,有错必纠文章目录目标函数优化方案WWW的更新规则WWW的最优解YYY的更新规则XXX的更新规则算法流程收敛性证明目标函数本文在非负矩阵三因子分解框架下进行共聚类,该框架将数据矩阵的行、列同时划分为相应的类.提出的NMTFCoS方法的主要思想是利用共稀疏正则化来共同选择信息最丰富的特征,同时缩小不相关的特征. 目标是最小化矩阵X、Y和W恢复数据矩阵P所造成的重建损失. 同时,我们在相关矩阵W上设置了协稀疏性约束,在X和Y上设置了非负约束. 因此,它是最小化的:其中,α\a原创 2021-08-01 09:54:01 · 148 阅读 · 0 评论 -
优化案例(part5)--sparse subspace clustering via Low-Rank structure propagation
学习笔记,仅供参考,有错必纠文章目录目标函数优化方案Clustering algorithm算法流程目标函数目标函数为:其中,∣∣⋅∣∣∗||\cdot||_*∣∣⋅∣∣∗表示秩正则化,即∣∣A∣∣∗=rank(A)||A||_*=rank(A)∣∣A∣∣∗=rank(A).优化方案Eq.(11)中的联合变量(X, Z, N, E)是非凸的. 幸运的是,注意到Eq.(11)对于X, Z, N和E中的任何单个变量都是凸的. 因此,可以开发一个迭代算法来逼近Eq.(11)的最优解. 其原创 2021-08-01 08:17:00 · 311 阅读 · 0 评论 -
优化案例(part4)--A novel consensus learning approach to incomplete multi-view clustering
学习笔记,仅供参考,有错必纠文章目录目标函数优化方案P-子问题S-子问题U(v)U^{(v)}U(v)子问题Z(v)Z^{(v)}Z(v)子问题算法流程目标函数CLIMC的目标函数可以写成:其中,λ3为超参数,表示低维共识表示与共识相似图之间的相关性强度。优化方案目标函数(12)不是同时在所有变量上凸的. 在本文中,我们提出了一种迭代优化算法来获得局部最优解.P-子问题固定其他变量,我们更新P通过最小化以下函数:对L§求关于P的导数并让它等于0,我们得到:将正交约束U(原创 2021-07-31 21:48:08 · 247 阅读 · 0 评论 -
优化案例(part3)--Aberrance suppresse dspatio-temporal correlation filters for visual object tracking
学习笔记,仅供参考,有错必纠文章目录目标函数优化方案对子问题wt+1∗w^*_{t+1}wt+1∗的求解对子问题h^t+1∗\hat{h}^*_{t+1}h^t+1∗的求解(注意这里分为N个子问题求解)拉格朗日参数的更新Update of appearance model目标函数目标为:为提高计算效率,将式(6)转换为频域(frequency domain). 总体目标也可以写成:优化方案由于ADMM的计算速度快,因此在该方法中采用ADMM来解决优化问题. 为了避免凸性问题,利用原创 2021-07-31 09:25:11 · 196 阅读 · 0 评论 -
优化案例(part2)--Fragmentary label distribution learning via graph regularized maximum entropy criteria
学习笔记,仅供参考,有错必纠文章目录目标函数优化方案算法流程目标函数优化方案对于光滑函数和非光滑函数目标,可以采用ADMM(交替方向乘子法)。我们使用ADMM来求解我们的目标函数。原方程满足KKT条件,因此我们可以将目标函数写成增广拉格朗日形式,并将其转化为对偶问题来解决原问题。(注意,KKT 条件为求得对偶问题解和原问题解的必要条件)其中,Λ\LambdaΛ为拉格朗日乘子。ρ\rhoρ是惩罚因子。1m1_m1m和1n1_n1n都是一个向量,分别有m和n个值,其中<⋅,原创 2021-07-30 21:27:16 · 203 阅读 · 0 评论 -
优化案例(part1)--Efficient multi-modal geometric mean metric learning
学习笔记,仅供参考,有错必纠文章目录目标函数优化方案算法流程目标函数其中,wpw_pwp是决定距离度量学习中第p模态重要性的权重. ApA_pAp是一个dp×dpd_p \times d_pdp×dp实对称正定矩阵,用于第p模态学习.SpS_pSp和DpD_pDp表示第p模态的相似和相异矩阵:A0A_0A0是先验度量(如4.4节所讨论的),DsldD_{sld}Dsld是对称的LogDet散度:优化方案接下来,我们开发一种有效的优化方法来求解(14)。在求解过原创 2021-07-30 19:38:07 · 275 阅读 · 0 评论 -
最优化(part1)--近似点梯度法
学习笔记,仅供参考,有错必纠文章目录近似点梯度法邻近算子定义 8.1 (邻近算子)定理 8.1 (邻近算子是良定义的)定理 8.2 (邻近算子与次梯度的关系)例 8.1 (邻近算子的典型例子)例 8.2 (邻近算子的运算规则)例 8.3 (仿射变换与邻近算子)例 8.4 (闭凸集上的投影)近似点梯度法如何理解近似点梯度法LASSO 问题求解参考文献近似点梯度法在机器学习、图像处理领域中,许多模型包含两部分:一部分是误差项,一般为光滑函数;另外一部分是正则项,可能为非光滑函数,用来保证求解问题的特殊原创 2021-07-29 23:21:10 · 901 阅读 · 0 评论 -
最优化导论(part2)--对偶问题的性质
学习笔记,仅供参考,有错必纠文章目录最优化导论弱对偶引理定理 17.1(最优解定理)对偶定理原问题与对偶问题最优解之间关系的总结互补松弛条件例子最优化导论弱对偶引理弱对偶引理说明: 一个问题的可行解可以确定另外一个问题的最优值的边界.对偶问题的目标函数值不大于原问题的目标函数值,当然,对偶问题的最优值小于等于原问题的最优值,即"最大值≤\le≤最小值". 因此,如果一个问题的目标函数值是无界的,则另一个问题就没有可行解.换言之,如果极小化问题的极小值为−∞-\infty−∞,或极大化原创 2021-07-29 19:02:37 · 780 阅读 · 0 评论 -
最优化导论(part1)--求解原问题的对偶问题
学习笔记,仅供参考,有错必纠文章目录最优化导论原问题与对偶问题对称形式的对偶非对称形式的对偶例题最优化导论原问题与对偶问题每个线性规划问题都有一个与之对应的对偶问题,对偶问题是以原问题的约束条件和目标函数为基础构造而来的。对偶问题也是一个线性规划问题,因此也可以采用单纯形法进行求解.然而,接下来将会发现,对偶问题的最优解还可以由原问题的最优解得到,反之亦然.另外,在某些情况下,利用对偶理论求解线性规划问题更为简单,而且有助于深人了解待求解问题的本质.对称形式的对偶为了定义任意线性规原创 2021-07-29 17:25:54 · 2099 阅读 · 0 评论 -
如何正确理解近似点梯度下降算法
学习笔记,仅供参考,有错必纠转载自:凸优化笔记19:近似点梯度下降近似点梯度下降算法这一部分考虑的问题主要是minmizef(x)=g(x)+h(x)minmize f(x) = g(x) + h(x)minmizef(x)=g(x)+h(x)这里面ggg是全空间可导的凸函数,dom g=Rndom \; g=R^ndomg=Rn,hhh是存在不可导部分的凸函数,并且一般需要hhh的近似点计算较为简单.近似点梯度下降算法是什么呢?xk+1=proxth(xk−tk∇g(xk))x_{转载 2021-07-29 16:16:32 · 719 阅读 · 1 评论 -
ADMM理论
学习笔记,仅供参考转载自:业界一直在谈论大数据,对于统计而言,大数据其实意味着要不是样本量增加$n \rightarrow \infty$,要不就是维度的增加$p \rightarrow \infty$,亦或者两者同时增加,并且维度与样本量的增长速度呈线性或者指数型增长。在稀疏性的假设条件下,再加上一些正则性方法,统计学家可以证明各种加penalty的模型所给出的参数估计具有良好的统计性质,收敛速度也有保证,同时还会给出一些比较好的迭代算法,但是,他们并没有考虑真实环境下的所消耗的计算时间。虽然统计学转载 2021-03-13 10:57:05 · 1040 阅读 · 0 评论 -
最优化理论与方法(part11)--约束优化问题
学习笔记,仅供参考,有错必纠文章目录最优化理论与方法约束优化问题定义 8.1.1(可行点与可行域)全局和局部极小值点积极与非积极最优化理论与方法约束优化问题定义 8.1.1(可行点与可行域)全局和局部极小值点积极与非积极...原创 2021-07-28 12:16:39 · 545 阅读 · 0 评论 -
最优化理论与方法(part10)--最优化方法的结构
学习笔记,仅供参考,有错必纠文章目录最优化理论与方法最优化方法的结构最优化方法的基本结构收敛速度定理 1.5.1(超线性收敛的特性)Himmeblau提出的终止准则最优化理论与方法最优化方法的结构最优化方法的基本结构收敛速度定理 1.5.1(超线性收敛的特性)Himmeblau提出的终止准则...原创 2021-07-28 11:10:10 · 216 阅读 · 0 评论 -
最优化理论与方法(part9)--无约束问题的最优性条件
学习笔记,仅供参考,有错必纠文章目录最优化理论与方法无约束问题的最优性条件局部极小点和总体极小点一阶和二阶充分必要条件凸充分性定理最优化理论与方法无约束问题的最优性条件局部极小点和总体极小点一阶和二阶充分必要条件一阶必要条件二阶必要条件二阶充分条件凸充分性定理...原创 2021-07-28 10:10:36 · 384 阅读 · 0 评论 -
最优化理论与方法(part8)--凸集的分离和支撑
学习笔记,仅供参考,有错必纠文章目录最优化理论与方法凸集的分离和支撑定理 1.3.17(凸集外一点与闭凸集的极小距离)定理 1.3.18定理 1.3.19定义 1.3.20(支撑超平面)定理 1.3.21定义 1.3.23(分离、正常分离、严格分离、强分离)定理 1.3.24和定理 1.3.25(两个凸集的分离及强分离定理)最优化理论与方法凸集的分离和支撑定理 1.3.17(凸集外一点与闭凸集的极小距离)定理 1.3.18定理 1.3.19定义 1.3.20(支撑超平面)原创 2021-07-28 09:14:54 · 368 阅读 · 0 评论 -
最优化理论与方法(part7)--凸函数
学习笔记,仅供参考,有错必纠文章目录最优化理论与方法凸函数定义 1.3.9 凸函数、严格凸函数、一致凸函数定理 1.3.10 (凸函数的性质)定理 1.3.11(f在S上可微)支撑超平面定理1.3.12 凸函数的二阶特性定理1.3.13和定理1.3.14(严格凸函数的性质)定理1.3.15(水平集)定理1.3.16(有界闭凸集)最优化理论与方法凸函数定义 1.3.9 凸函数、严格凸函数、一致凸函数定理 1.3.10 (凸函数的性质)定理 1.3.11(f在S上可微)支撑超平面原创 2021-07-28 08:03:44 · 697 阅读 · 0 评论 -
最优化理论与方法(part6)--凸集
学习笔记,仅供参考,有错必纠最优化理论与方法凸集定义 1.3.1例 1.3.2(超平面)例 1.3.3(闭半空间、开闭半空间)例 1.3.4(射线)例子(Ax=bAx=bAx=b)例子(多面集)下面的引理叙述了凸集的性质,即两个凸集的交集是凸集,两个凸集的代数和是凸集.引理 1.3.5凸包和凸锥开集、闭集、开凸集、闭凸集定理 1.3.6凸集的极值点和极值方向在凸集的研究中另一个有用的概念为凸集的极值原创 2021-07-27 23:05:50 · 246 阅读 · 0 评论 -
最优化理论与方法(part5)--函数和微分
学习笔记,仅供参考,有错必纠文章目录最优化理论与方法函数和微分连续可微和Hesse矩阵ddd的方向导数ddd的二阶方向导数链式法则Jacobi矩阵定义 1.2.11(Lipschitz常数及Lipschitz连续)定理 1.2.12定理 1.2.13定理 1.2.14定理 1.2.15最优化理论与方法函数和微分连续可微和Hesse矩阵ddd的方向导数ddd的二阶方向导数链式法则Jacobi矩阵定义 1.2.11(Lipschitz常数及Lipschit原创 2021-07-27 17:10:45 · 183 阅读 · 0 评论 -
最优化理论与方法(part4)--秩一校正
学习笔记,仅供参考,有错必纠文章目录最优化理论与方法秩一校正定理 1.2.6(Sherman-Morrison 定理)定理 1.2.7(Sherman-Morrison-Woodburg 定理)定理1.2.8(连锁特征值定理)算法 1.2.9(Cholesky 分解的秩一校正算法)算法 1.2.10(负校正情形Cholesky 分解的秩一校正算法)最优化理论与方法秩一校正定理 1.2.6(Sherman-Morrison 定理)以上定理的推广为:定理 1.2.7(Sherman-Mor原创 2021-07-27 15:47:12 · 981 阅读 · 0 评论 -
最优化理论与方法(part3)--矩阵的Rayleigh商
学习笔记,仅供参考,有错必纠文章目录最优化理论与方法矩阵的Rayleigh商定义 1.2.4定理 1.2.5最优化理论与方法矩阵的Rayleigh商定义 1.2.4备注:CCC 是指复数域;hermite矩阵矩阵是指自共轭矩阵,矩阵中每一个第i行第j列的元素都与第j行第i列的元素的共轭相等;u∗u^*u∗表示uuu的共轭转置.定理 1.2.5...原创 2021-07-27 14:53:53 · 709 阅读 · 0 评论 -
最优化理论与方法(part2)--矩阵求逆和广义逆
学习笔记,仅供参考,有错必纠文章目录最优化理论与方法矩阵求逆和广义逆定理 1.2.3 (von Neumann引理)定理 1.2.3'子空间最优化理论与方法矩阵求逆和广义逆定理 1.2.3 (von Neumann引理)定理 1.2.3’子空间设LLL和MMM是RnR^nRn的子空间,RnR^nRn称为LLL和MMM的直和:Rn=L⊕MR^n = L \oplus MRn=L⊕M当且仅当:...原创 2021-07-27 14:39:35 · 534 阅读 · 0 评论 -
最优化理论与方法(part1)--范数
学习笔记,仅供参考,有错必纠文章目录最优化理论与方法范数定义1.2.1常用的向量范数矩阵范数椭圆向量范数直交不变矩阵范数定义1.2.2关于范数的几个重要不等式最优化理论与方法范数定义1.2.1映射∣∣⋅∣∣:Rn→R||\cdot||:R^n \to R∣∣⋅∣∣:Rn→R称为RnR^nRn上的半范数,当且仅当它具有下列性质:常用的向量范数矩阵范数此外,对于诱导矩阵范数,我们总有∣∣I∣∣=1||I||=1∣∣I∣∣=1.Frobenius范数椭圆向量范原创 2021-07-27 13:59:27 · 402 阅读 · 0 评论 -
如何通俗理解拉格朗日对偶问题(part2)
学习笔记,仅供参考,有错必纠转载自:李竞宜拉格朗日对偶问题关于对拉格朗日对偶的理解,Boyd的那本《Convex Optimization》中给出了很多种解释方法,比如通过函数值集合理解、鞍点解释、博弈解释和经济学解释等,我认为除了基于价格和税的经济学解释比较符合题目要求的通俗解释之外,其他的理解方法直接阅读,对于初学者来说都算不上通俗,比较生涩难懂,尤其是对线性代数不够熟练的情况下。这里仍然采用Boyd那本书中5.3.1节通过函数值集合理解强弱对偶性,原书中先进行了具有一般性的理论推导,然后才转载 2021-07-27 11:41:31 · 607 阅读 · 0 评论 -
如何通俗理解拉格朗日对偶问题(part1)
学习笔记,仅供参考,有错必纠转载自:又红又正抛砖引玉, 说一下(Lagrangian) duality是怎么来的。先考虑下面的nonlinear programming:现在的问题是如何找到问题(1) 的最优值的一个最好的下界? 首先我们知道若方程组 :无解,则vvv是问题(1)的一个下界。注意到方程组(2)有解可以推出对于任意的λ≥0\lambda \ge 0λ≥0, 以下方程:有解。因此根据逆否命题,方程组(2)无解的充分条件是存在λ≥0\lambda \ge 0λ≥0,让方程(3)无转载 2021-07-27 10:27:32 · 361 阅读 · 0 评论 -
如何通俗的理解KKT条件
学习笔记,仅供参考,有错必纠转载自:彭一洋最近也在看关于优化的东西,题主在问题补充里问了好多,我暂且以二维空间 [公式] 举例,从简单的无约束的优化(0梯度条件),到等式约束优化(拉格朗日条件),再到不等式约束优化(KKT条件),写点对于优化问题自己能写的理解,权当做抛砖引玉。无约束的优化问题注意我在图里画了等高线。此时f(x)f(x)f(x)在局部极小值点x∗=(x1∗,x2∗)x^* = (x_1^*, x_2^*)x∗=(x1∗,x2∗) 处的梯度必然为0,比较容易理解。这个梯度为零的转载 2021-07-27 10:14:53 · 4476 阅读 · 1 评论 -
对偶算法与ADMM算法
学习笔记,仅供参考,有错必纠转载自:机器学习与运筹优化(六)对偶算法与ADMM算法文章目录摘要ADMM算法参考文献摘要上文我们介绍了约束优化问题和拉格朗日对偶思想。对偶算法就像是男生女生互相挑选,最终走到一起的过程,今天我们具体介绍几种常见的对偶算法,特别介绍在大数据时代大放异彩的ADMM算法。回忆一下男生女生互相挑选的过程,哦不,回忆一下对偶算法的思想——构造拉格朗日函数,把约束优化问题转化为无约束优化问题求解。ADMM算法例如原问题是在线性约束下极小化函数f:我们用之前介绍的梯转载 2021-07-26 22:41:55 · 1349 阅读 · 0 评论 -
ADMM参考资料(part1)
ADMM原创 2021-07-26 21:18:51 · 251 阅读 · 0 评论 -
最优化课程(part1)
学习笔记,仅供参考,有错必纠授课老师:陆吾生;文章目录最优化优化步骤数学记号一个二维函数某点的梯度示意图(曲面上,通过某个点的切平面)一维函数优化的更新步骤最优化优化步骤一般的优化步骤:Step1: 选择一个初始点x0x_0x0,设置容忍度ϵ\epsilonϵ,设置迭代次数kkk;Step2: 选择下降方向dkd_kdk,在该方向下,目标函数f(x)f(x)f(x)的数值降低;Step3: 选择步长αk\alpha_kαk,到达新的点xk+1=xk+αkdkx_{k+1}=x_原创 2021-07-26 18:13:02 · 286 阅读 · 0 评论