全部笔记的汇总贴：统计学习方法读书笔记汇总贴
一、原始问题
如果考虑极小化，原始问题的最优值 p ∗ = min x θ p ( x ) = min x max α , β : α i ≥ 0 L ( x , α , β ) p^*=\min_x\theta_p(x)=\min_x\max_{\alpha,\beta:\alpha_i\ge0}L(x,\alpha,\beta) p∗=xminθp(x)=xminα,β:αi≥0maxL(x,α,β)
二、对偶问题
简单来说，就是由先考虑极大再考虑极小，变为先考虑极小再考虑极大。
对偶问题的最优解为 d ∗ = max α , β : α i ≥ 0 θ D ( α , β ) = max α , β : α i ≥ 0 min x L ( x , α , β ) d^*=\max_{\alpha,\beta:\alpha_i\ge0}\theta_D(\alpha,\beta)=\max_{\alpha,\beta:\alpha_i\ge0}\min_{x}L(x,\alpha,\beta) d∗=α,β:αi≥0maxθD(α,β)=α,β:αi≥0maxxminL(x,α,β)
三、原始问题与对偶问题的关系
d ∗ = max α , β : α i ≥ 0 min x L ( x , α , β ) ≤ min x max α , β : α i ≥ 0 L ( x , α , β ) = p ∗ d^*=\max_{\alpha,\beta:\alpha_i\ge0}\min_{x}L(x,\alpha,\beta)\le \min_x\max_{\alpha,\beta:\alpha_i\ge0}L(x,\alpha,\beta)=p^* d∗=α,β:αi≥0maxxminL(x,α,β)≤xminα,β:αi≥0maxL(x,α,β)=p∗
有的时候原始问题不好求解，我们要把它转化为对偶问题来求，所以我们必须要保证取等号才行。也就是必须要满足KKT条件：
上一章传送门：统计学习方法读书笔记（二十六）-附录D 矩阵的基本子空间
扫一扫
234
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
