![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
凸优化
文章平均质量分 53
再给一碗吧
读博是一场战役
展开
-
Lasso和Group Lasso的闭式解
优化目标其中求导,得到其中得到对于在深度学习中group LASSO而言来压缩的时候,问题转换为求解:其中 是可学习参数,可以看做是一个向量。 是training loss, 是正则化项。把 分为 组,来做LASSO,有 ,也就是说对每一组内部使用norm,形成一个 元向量,然后再这 元向量使用 norm。因为 norm肯定是大于等于零的了,所以外层不需要加绝对值了。一般来说, 是一个神经网络,属于严重非凸问题,可以用model function来近似,问题就转换为:原创 2022-03-08 16:15:25 · 1997 阅读 · 0 评论 -
[机器学习]Lasso,L1范数,及其鲁棒性
前言:本文包括以下几个方面,1. 介绍Lasso,从最初提出Lasso的论文出发,注重动机;2. L1和L2范数的比较,注重L1的稀疏性及鲁棒性;3. 从误差建模的角度理解L1范数1. lasso最早提出Lasso的文章,文献[1],已被引用n多次。注:对于不晓得怎么翻译的英文,直接搬来。文献[1]的动机:在监督学习中,ordinary least squares(OLS) estimates 最小化所有数据的平方残差(即只是让经验误差最小化),存在2个问题:1是预测误差(predic原创 2021-11-09 00:39:57 · 1611 阅读 · 1 评论 -
Convex-ConCave Procedure(CCCP) 凹凸规划 高效的问题分解求解方法
最近接触了 ramp loss这个loss 优劣参半, 很烦的就是这个函数它虽然连续和鲁棒,但是 不可微 非凸DC分解 以及 CCCP规划 在这个问题上就蛮适用CCCP规划,本质上是寻找两个凸函数之间梯度相同的两个点,即逐步减小两个函数之间的距离,使其收敛到距离最接近的点。Convex-Concave procedure(凹凸过程)CCCP是一种单调递减全局优化的方法。其形式可以表示为凸函数-凸函数 或者 凸函数+凹函数。————————————一、问题模型:DC(difference of原创 2021-10-07 01:42:35 · 3875 阅读 · 12 评论 -
向量型求导工具-Pytorch
1.标量对向量求导标量可以直接对向量求导import torchp = torch.tensor([2.0, 3.0, 5.0], requires_grad=True)q = p*2+1z = torch.mean(q)z.backward()print(p.grad)print(p.grad*p)结果:tensor([0.6667, 0.6667, 0.6667])tensor([1.3333, 2.0000, 3.3333], grad_fn=<MulBackward0&原创 2021-09-14 10:24:00 · 620 阅读 · 0 评论 -
机器学习 - 计算 Log-Sum-Exp
参考 https://blog.csdn.net/u013066730/article/details/81949957计算 Log-Sum-Exp[原文-Computing Log-Sum-Exp]本文的计算技巧是有效的,但在机器学习课程上没有明确提到.这样保证了取指数时的最大值为0.这种技巧使得绝对不会出现上溢(overflow),即使其余的下溢(underflow),也可以得到一个合理的值....原创 2021-05-12 09:55:55 · 605 阅读 · 0 评论 -
(单纯性和L1 ball)投影梯度法
投影梯度方法Efficient Projections onto the ℓ1-Ball for Learning in High Dimensions[2008]高维数据的有效投影文章给出了求解:1.投影到单纯形2.投影到L1-ball的算法。下图只给出了复杂度为O(nlogn)的算法,关于算法复杂度为O(n)的算法,请参考文章后面的详细内容。下面是matlab代码参考% 测试clearvars;clc;z=1;%v=[4 4]';v=[-0.5 1]';w=proj2_L1ba原创 2021-03-23 11:06:46 · 2789 阅读 · 0 评论 -
内点法介绍(Interior Point Method) 障碍函数+对偶内点法
参考网址:https://blog.csdn.net/dymodi/article/details/46441783系统地介绍了 两种内点法: 障碍函数 和 原始-对偶法原创 2021-03-09 08:58:11 · 2004 阅读 · 0 评论