凸优化&高等数理统计笔记
关注
分享
扫一扫
真实菜鸡来学习
你知道网上冲浪吗
统计萌新，野生算法爱好者
展开
-
优化30
对偶和共轭函数拉格朗日对偶问题分三步求解对偶问题针对一个标准的线性规划问题对偶函数将负无穷的情况丢弃，因为显然弱对偶性质对偶问题的可行域是m+n维的实数域对偶问题一定是一个凸优化问题与之对应的就是两个最优值相等，那么就是强对偶两个值的差是对偶间隙强对偶条件证明线性规划有可行解那么，满足强对偶最小二乘...原创 2020-05-27 21:16:55 · 157 阅读 · 0 评论 -
优化29
终于等到你-拉格朗日对偶这个就是固定x然后只是lambda和v的函数对偶函数必然是凹函数必然是原问题的下确界证明这个公式非常直观的给出证明很好理解不在过多阐释所以就可极大化这个下界去逼近p*，这就是很多机器学习书中svm里一上来就求解对偶问题的来源简单明了的例子线性规划...原创 2020-05-10 00:23:36 · 127 阅读 · 0 评论 -
优化26-27
25课再回首线性规划–目标函数是线性，约束也是线性二次规划–目标函数是二次凸函数，等式和不等式都是二次qcqp投资组合原创 2020-05-08 22:34:54 · 134 阅读 · 0 评论 -
优化25
线性规划（再回首）加入松弛变量标准形式的线性规划有点意思右边同样的找到一个可行解，使其值相等左边同上例子线性分式函数转化为线性规划问题完了思想抛锚一分钟后面全都听不懂了。。。。。太真实了二次规划QCQP问题比较复杂例子：带噪声的测量系统： b = ax + e即：最小二乘核心问题：最小二乘分别是无约束和带约束的二次优化...原创 2020-04-25 17:07:49 · 219 阅读 · 0 评论 -
优化21-24+hmm后续+数值初探
凸优化问题标准形式以及条件23-24局部最优解=全局最优解证明：无约束无约束问题换言之就是它的约束条件下的最优解的梯度方向垂直于化零空间即ax=0这条线非负象限的极小化线性规划问题图解线性规划补充笔记HMMimport numpy as npclass HMM(object): def __init__(self, N, M, pi=Non...原创 2020-04-18 23:50:52 · 302 阅读 · 0 评论 -
优化14-20
优化笔记保凸共轭拟凸，尼玛的越来越难原创 2020-04-08 02:46:58 · 106 阅读 · 0 评论 -
优化+GAN/VAE+HMM4
优化（13课）GAN+VAE老师讲的行云流水，如果没有这个系列视频我肯定早就跑路了，按照我个人的水平其实离搞机器学习还差了十万八千里正是这个这个白板系列还让我有坚持下去的兴趣。生成模型综述：gan:vae:...原创 2020-03-30 00:25:54 · 315 阅读 · 0 评论 -
优化+线代+em算法2
线性代数：特征值特征向量gbdt梯度提升算法凸优化em算法学习原创 2020-03-24 02:11:34 · 239 阅读 · 0 评论