本篇是写在SVM之前的关于优化问题的一点知识,在SVM中会用到。考虑到SVM之复杂,将其中优化方面基础知识提出,单作此篇。所以,本文也不会涉及优化问题的许多深层问题,只是个人知识范围内所了解的SVM中涉及到的优化问题基础。
一、凸优化问题
在优化问题中,凸优化问题由于具有优良的性质(局部最优解即是全局最优解),受到广泛研究。
对于一个含约束的优化问题:
![](https://i-blog.csdnimg.cn/blog_migrate/92716003cd75cbc4d278755e6032b480.png)
![](https://i-blog.csdnimg.cn/blog_migrate/67a84f4e1878d11bafb7876f951c2211.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bfb80f0a1ee23a2cbf92423bf6ed18a6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/19da6a8df08dbe183221a924849c556d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/05c8fd8693c1c0df801db5fc9327b1e2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0c239da639d66724c2a5824c53ec2b74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6c9597695dae2a2b008746e88481cf92.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4324ed366ed8f5cda4de10ddb2b9b591.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3d9d71b76c1e848bc56d134ebe1b8ec4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4324ed366ed8f5cda4de10ddb2b9b591.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9e83c4666d5c6d1e3d92cde14811b4be.png)
![](https://i-blog.csdnimg.cn/blog_migrate/507e5bde591d115f624e127112a34969.png)
其中,
f(x) 为一个凸函数,变量
x 的可行域
C 是一个凸集,那么这个优化问题称为一个凸优化问题。
将上面的约束条件的形式更加明确一点,一个凸优化问题可以写成:
![](https://i-blog.csdnimg.cn/blog_migrate/a4472fe4cf4ffbbf09c19c699fee5880.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7f4bc93388b8220cec15189c20eae5e4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1acaef9f48694c7ee7e9cb79078f6328.png)
![](https://i-blog.csdnimg.cn/blog_migrate/233d6729d91bed71e7935c3e880ada17.png)
![](https://i-blog.csdnimg.cn/blog_migrate/233d6729d91bed71e7935c3e880ada17.png)
![](https://i-blog.csdnimg.cn/blog_migrate/233d6729d91bed71e7935c3e880ada17.png)
![](https://i-blog.csdnimg.cn/blog_migrate/233d6729d91bed71e7935c3e880ada17.png)
![](https://i-blog.csdnimg.cn/blog_migrate/67a84f4e1878d11bafb7876f951c2211.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bfb80f0a1ee23a2cbf92423bf6ed18a6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/19da6a8df08dbe183221a924849c556d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/05c8fd8693c1c0df801db5fc9327b1e2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0c239da639d66724c2a5824c53ec2b74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6c9597695dae2a2b008746e88481cf92.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4324ed366ed8f5cda4de10ddb2b9b591.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3d9d71b76c1e848bc56d134ebe1b8ec4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4324ed366ed8f5cda4de10ddb2b9b591.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7bc68beb72b8b4ef8fda61133418b57c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/894a97bd64c57015422fe3288c5e3bb3.png)
![](https://i-blog.csdnimg.cn/blog_migrate/10cba0ffe69cd900c24c5299a8d08feb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b118516083c6e628292b10734e6deae7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3f77ee0e67bf691be5bd110737181ae6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/10cba0ffe69cd900c24c5299a8d08feb.png)
其中,
f(x) 当然仍然为一个凸函数,但对约束条件有一定要求:
gi(x) 是凸函数;
hi(x) 为仿射函数。这样的要求当然是为了保证可行域是一个凸集。
不等式约束中
gi(x)为凸函数,而凸函数的水平截集
{x|gi(x)≤α} 是一个凸集(凸函数的性质),这就使得不等式约束保证了可行域为凸集;
对于等式约束
hi(x)=0 可以写成:
![](https://i-blog.csdnimg.cn/blog_migrate/92716003cd75cbc4d278755e6032b480.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b118516083c6e628292b10734e6deae7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/894a97bd64c57015422fe3288c5e3bb3.png)
![](https://i-blog.csdnimg.cn/blog_migrate/10cba0ffe69cd900c24c5299a8d08feb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b118516083c6e628292b10734e6deae7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/39aa9320d3a480b38821d819223b0608.png)
![](https://i-blog.csdnimg.cn/blog_migrate/10cba0ffe69cd900c24c5299a8d08feb.png)
要使得满足条件的
x 组成的集合为凸集,就要求
hi(x) 既是一个凸函数,又是一个凹函数,这样
hi(x)便只能是仿射函数了。
以上便是凸优化问题的一般形式。常见的线性规划、二次规划、二次约束二次规划等优化问题都是凸优化问题。
二、拉格朗日对偶
抛开凸优化问题,回到一般的优化问题。
一般的优化问题可以写成以下形式:
![](https://i-blog.csdnimg.cn/blog_migrate/a4472fe4cf4ffbbf09c19c699fee5880.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7f4bc93388b8220cec15189c20eae5e4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1acaef9f48694c7ee7e9cb79078f6328.png)
![](https://i-blog.csdnimg.cn/blog_migrate/233d6729d91bed71e7935c3e880ada17.png)
![](https://i-blog.csdnimg.cn/blog_migrate/233d6729d91bed71e7935c3e880ada17.png)
![](https://i-blog.csdnimg.cn/blog_migrate/233d6729d91bed71e7935c3e880ada17.png)
![](https://i-blog.csdnimg.cn/blog_migrate/233d6729d91bed71e7935c3e880ada17.png)
![](https://i-blog.csdnimg.cn/blog_migrate/67a84f4e1878d11bafb7876f951c2211.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bfb80f0a1ee23a2cbf92423bf6ed18a6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/19da6a8df08dbe183221a924849c556d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/05c8fd8693c1c0df801db5fc9327b1e2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0c239da639d66724c2a5824c53ec2b74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6c9597695dae2a2b008746e88481cf92.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4324ed366ed8f5cda4de10ddb2b9b591.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3d9d71b76c1e848bc56d134ebe1b8ec4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4324ed366ed8f5cda4de10ddb2b9b591.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7bc68beb72b8b4ef8fda61133418b57c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/894a97bd64c57015422fe3288c5e3bb3.png)
![](https://i-blog.csdnimg.cn/blog_migrate/10cba0ffe69cd900c24c5299a8d08feb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b118516083c6e628292b10734e6deae7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3f77ee0e67bf691be5bd110737181ae6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/10cba0ffe69cd900c24c5299a8d08feb.png)
当然,这里对
f(x)、
gi(x)、
hi(x) 都是没有要求的。
根据拉格朗日方法,对应的拉格朗日函数为:
L(x,α,β)=f(x)+∑iαigi(x)+∑iβihi(x)
其中
α 、
β为拉格朗日乘数(都是向量,其长度分别对应于不等式约束和等式约束的个数),且
αi≥0、
β 任意。
定义函数:
![](https://i-blog.csdnimg.cn/blog_migrate/0d4dda0f8cd5fec324739215178bde5f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5f7b79c098e8c7a02d0d211d481d5d9a.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3f77ee0e67bf691be5bd110737181ae6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/67a84f4e1878d11bafb7876f951c2211.png)
![](https://i-blog.csdnimg.cn/blog_migrate/62f7e6f68a8baf1e6762f505742e7e87.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e2850c94f25360581156636f9737e899.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9b761d86e7b770d6c1afc949ec20b266.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5e463925eaaaa8827d5f3d934696256a.png)
![](https://i-blog.csdnimg.cn/blog_migrate/2c267dc00489108823a9e4c1a1b23787.png)
![](https://i-blog.csdnimg.cn/blog_migrate/a8f254bd22f5bce2b3518cc56a627758.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9b761d86e7b770d6c1afc949ec20b266.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8a81b9d01e5209d19c48276d97133ee3.png)
![](https://i-blog.csdnimg.cn/blog_migrate/c80f9f89757af8cfe5f67a5f509bb4eb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/45955df936cd89e726ae226df87cb8e4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/47f96e8870e3ff9917cbdfcad2f15c9f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e65772aa812105ef8508cf64d1fd482d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f4986df205e44deb0837020dfe90e285.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e65772aa812105ef8508cf64d1fd482d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4c42015437c5c54ba8df26830d327856.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
容易发现:
![](https://i-blog.csdnimg.cn/blog_migrate/0d4dda0f8cd5fec324739215178bde5f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5f7b79c098e8c7a02d0d211d481d5d9a.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3f77ee0e67bf691be5bd110737181ae6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/92716003cd75cbc4d278755e6032b480.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0c239da639d66724c2a5824c53ec2b74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8b2cb2b2ca0937287acbf1eaa98410c9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/22a73d9d60578044c27c563965713c84.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7bc68beb72b8b4ef8fda61133418b57c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/894a97bd64c57015422fe3288c5e3bb3.png)
![](https://i-blog.csdnimg.cn/blog_migrate/10cba0ffe69cd900c24c5299a8d08feb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/c01e02ee800ecb19c7cfd562322f8f8c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b118516083c6e628292b10734e6deae7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3f77ee0e67bf691be5bd110737181ae6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/10cba0ffe69cd900c24c5299a8d08feb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7bc68beb72b8b4ef8fda61133418b57c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9b2305d5e383f23cad9d0c0c6955c1be.png)
![](https://i-blog.csdnimg.cn/blog_migrate/10cba0ffe69cd900c24c5299a8d08feb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5ba8f6b2cfb3f2ae594c97871b583d20.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5ba8f6b2cfb3f2ae594c97871b583d20.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b118516083c6e628292b10734e6deae7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/de27bf24a21d2c975d4052226a96646d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/10cba0ffe69cd900c24c5299a8d08feb.png)
如果原来的约束条件都满足那么
L(x,α,β)=f(x)+∑iαigi(x)+∑iβihi(x),最后一项为零,第二项要取得最大值,由于
gi(x)≤0,所以只能取
α=0→ ,使其取得最大值0,这样
![](https://i-blog.csdnimg.cn/blog_migrate/0d4dda0f8cd5fec324739215178bde5f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5f7b79c098e8c7a02d0d211d481d5d9a.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3f77ee0e67bf691be5bd110737181ae6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/67a84f4e1878d11bafb7876f951c2211.png)
![](https://i-blog.csdnimg.cn/blog_migrate/62f7e6f68a8baf1e6762f505742e7e87.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e2850c94f25360581156636f9737e899.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9b761d86e7b770d6c1afc949ec20b266.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5e463925eaaaa8827d5f3d934696256a.png)
![](https://i-blog.csdnimg.cn/blog_migrate/2c267dc00489108823a9e4c1a1b23787.png)
![](https://i-blog.csdnimg.cn/blog_migrate/a8f254bd22f5bce2b3518cc56a627758.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9b761d86e7b770d6c1afc949ec20b266.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8a81b9d01e5209d19c48276d97133ee3.png)
![](https://i-blog.csdnimg.cn/blog_migrate/c80f9f89757af8cfe5f67a5f509bb4eb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/45955df936cd89e726ae226df87cb8e4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/47f96e8870e3ff9917cbdfcad2f15c9f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e65772aa812105ef8508cf64d1fd482d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f4986df205e44deb0837020dfe90e285.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e65772aa812105ef8508cf64d1fd482d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4c42015437c5c54ba8df26830d327856.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3f77ee0e67bf691be5bd110737181ae6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0c239da639d66724c2a5824c53ec2b74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
如果违背了原来的约束条件,比如存在某一个约束
gi(x)>0,那么可以取
αi 任意大,这样
θP(x)=+∞。违反等式约束
hi(x)=0的情况是类似的。
所以可以认为
θP(x)是对原理优化问题中的约束条件进行了吸收,是原来的约束优化问题变为无约束优化问题(相对于原来变量
x 无约束了),即原来的优化问题可以写成:
(1)minxθP(x)=minxmaxα,β:αi≥0L(x,α,β)
现在,称(1)为原问题,这和最初的有约束问题是等价的。
将(1)中min和max交换顺序得到对偶问题:
(2)maxα,β:αi≥0θD(α,β)=maxα,β:αi≥0minxL(x,α,β)
其中
![](https://i-blog.csdnimg.cn/blog_migrate/0d4dda0f8cd5fec324739215178bde5f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/68ec09ae055a8611e578a0a1a9b5ace0.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f4986df205e44deb0837020dfe90e285.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e65772aa812105ef8508cf64d1fd482d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4c42015437c5c54ba8df26830d327856.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3f77ee0e67bf691be5bd110737181ae6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/67a84f4e1878d11bafb7876f951c2211.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bfb80f0a1ee23a2cbf92423bf6ed18a6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/19da6a8df08dbe183221a924849c556d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/05c8fd8693c1c0df801db5fc9327b1e2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/47f96e8870e3ff9917cbdfcad2f15c9f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e65772aa812105ef8508cf64d1fd482d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f4986df205e44deb0837020dfe90e285.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e65772aa812105ef8508cf64d1fd482d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4c42015437c5c54ba8df26830d327856.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
记
p∗ 为原问题的最优解,对应最优解的最优变量取值为
x∗,则
p∗=f(x∗) ;
记
d∗ 为对偶问题的最优解,对应最优解的最优变量取值为
α∗、
β∗,则
d∗=θD(α∗,β∗)。
下面来说明
d∗≤p∗。
对于任意
α,β(
α≥0 ):
![](https://i-blog.csdnimg.cn/blog_migrate/0d4dda0f8cd5fec324739215178bde5f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/68ec09ae055a8611e578a0a1a9b5ace0.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f4986df205e44deb0837020dfe90e285.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e65772aa812105ef8508cf64d1fd482d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4c42015437c5c54ba8df26830d327856.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3f77ee0e67bf691be5bd110737181ae6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/67a84f4e1878d11bafb7876f951c2211.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bfb80f0a1ee23a2cbf92423bf6ed18a6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/19da6a8df08dbe183221a924849c556d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/05c8fd8693c1c0df801db5fc9327b1e2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/47f96e8870e3ff9917cbdfcad2f15c9f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e65772aa812105ef8508cf64d1fd482d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f4986df205e44deb0837020dfe90e285.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e65772aa812105ef8508cf64d1fd482d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4c42015437c5c54ba8df26830d327856.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/894a97bd64c57015422fe3288c5e3bb3.png)
![](https://i-blog.csdnimg.cn/blog_migrate/47f96e8870e3ff9917cbdfcad2f15c9f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1a7d60759fd2041ac3412bf6e5fb16a7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e65772aa812105ef8508cf64d1fd482d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f4986df205e44deb0837020dfe90e285.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e65772aa812105ef8508cf64d1fd482d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4c42015437c5c54ba8df26830d327856.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3f77ee0e67bf691be5bd110737181ae6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0c239da639d66724c2a5824c53ec2b74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1a7d60759fd2041ac3412bf6e5fb16a7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8b2cb2b2ca0937287acbf1eaa98410c9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7c22319837200c06e760053654df8df9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f4986df205e44deb0837020dfe90e285.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7bc68beb72b8b4ef8fda61133418b57c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1a7d60759fd2041ac3412bf6e5fb16a7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8b2cb2b2ca0937287acbf1eaa98410c9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7c22319837200c06e760053654df8df9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4c42015437c5c54ba8df26830d327856.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b118516083c6e628292b10734e6deae7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1a7d60759fd2041ac3412bf6e5fb16a7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/894a97bd64c57015422fe3288c5e3bb3.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0c239da639d66724c2a5824c53ec2b74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1a7d60759fd2041ac3412bf6e5fb16a7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3f77ee0e67bf691be5bd110737181ae6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/994b8d2d61e61f428a8f176cdd4efdd2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1a7d60759fd2041ac3412bf6e5fb16a7.png)
第一个不等号成立是显然的,这是由
minxL(x,α,β) 的定义直接得到的;第二个不等号成立是因为
x∗ 是一个可行解,所以约束条件
gi(x)≤0 和
hi(x)=0 都满足,所以
∑iαigi(x∗)≤0 、
∑iβihi(x∗)=0。
由于以上推导过程中
α、
β的任意性,所以
d∗=θD(α∗,β∗)≤p∗ ,所以求解对偶问题是在最大化原问题最优解的下界。
通常,对偶问题相对于原问题有比较好的形式(有看到“无论原问题形式如何,对偶问题都是一个凸优化问题”的说法,但没见过证明。),这样,当原问题不好求解时,可以转而求解对偶问题。问题是一般情况下有
d∗≤p∗,所以求解对偶问题只能得到原问题解的下界,不能保证
d∗=p∗。
当原问题满足一些条件时,可以保证
d∗=p∗。
Slater条件:存在
x ,使得不等式约束
gi(x)≤0严格成立,即
gi(x)=0。
当原问题为一凸优化问题,且满足Slater条件时,有
d∗=p∗,这样就原问题和对偶问题的解一致,求解对偶问题即可。显然,Slater是凸优化问题与其对偶问题等价的一个充分条件。
KKT条件是原问题与对偶问题等价的必要条件。考虑一般优化问题(不一定是凸优化),如果有
d∗=p∗,则:
![](https://i-blog.csdnimg.cn/blog_migrate/b3c532ab0fba44e613f92882b4a75959.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1a7d60759fd2041ac3412bf6e5fb16a7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3f77ee0e67bf691be5bd110737181ae6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0d4dda0f8cd5fec324739215178bde5f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/68ec09ae055a8611e578a0a1a9b5ace0.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f4986df205e44deb0837020dfe90e285.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1a7d60759fd2041ac3412bf6e5fb16a7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e65772aa812105ef8508cf64d1fd482d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4c42015437c5c54ba8df26830d327856.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1a7d60759fd2041ac3412bf6e5fb16a7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3f77ee0e67bf691be5bd110737181ae6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/67a84f4e1878d11bafb7876f951c2211.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bfb80f0a1ee23a2cbf92423bf6ed18a6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/19da6a8df08dbe183221a924849c556d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/05c8fd8693c1c0df801db5fc9327b1e2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/47f96e8870e3ff9917cbdfcad2f15c9f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e65772aa812105ef8508cf64d1fd482d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f4986df205e44deb0837020dfe90e285.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1a7d60759fd2041ac3412bf6e5fb16a7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e65772aa812105ef8508cf64d1fd482d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4c42015437c5c54ba8df26830d327856.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1a7d60759fd2041ac3412bf6e5fb16a7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/894a97bd64c57015422fe3288c5e3bb3.png)
![](https://i-blog.csdnimg.cn/blog_migrate/47f96e8870e3ff9917cbdfcad2f15c9f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1a7d60759fd2041ac3412bf6e5fb16a7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e65772aa812105ef8508cf64d1fd482d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f4986df205e44deb0837020dfe90e285.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1a7d60759fd2041ac3412bf6e5fb16a7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e65772aa812105ef8508cf64d1fd482d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4c42015437c5c54ba8df26830d327856.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1a7d60759fd2041ac3412bf6e5fb16a7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3f77ee0e67bf691be5bd110737181ae6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0c239da639d66724c2a5824c53ec2b74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1a7d60759fd2041ac3412bf6e5fb16a7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8b2cb2b2ca0937287acbf1eaa98410c9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7c22319837200c06e760053654df8df9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f4986df205e44deb0837020dfe90e285.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1a7d60759fd2041ac3412bf6e5fb16a7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7bc68beb72b8b4ef8fda61133418b57c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1a7d60759fd2041ac3412bf6e5fb16a7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8b2cb2b2ca0937287acbf1eaa98410c9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7c22319837200c06e760053654df8df9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4c42015437c5c54ba8df26830d327856.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1a7d60759fd2041ac3412bf6e5fb16a7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b118516083c6e628292b10734e6deae7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1a7d60759fd2041ac3412bf6e5fb16a7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/894a97bd64c57015422fe3288c5e3bb3.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0c239da639d66724c2a5824c53ec2b74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1a7d60759fd2041ac3412bf6e5fb16a7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3f77ee0e67bf691be5bd110737181ae6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/994b8d2d61e61f428a8f176cdd4efdd2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1a7d60759fd2041ac3412bf6e5fb16a7.png)
由于
d∗=p∗,所以上面推导过程中所以的不等号“
≤ ”应该取到等号。第一个等号得到
minxL(x,α∗,β∗)=L(x∗,α∗,β∗),这说明
x∗ 是
L(x,α∗,β∗)的一个极值点,所以
L(x,α∗,β∗)在
x∗ 处的偏导为零,
∂L(x,α∗,β∗)∂x|x∗=0 ;第二个等号得到
f(x∗)+∑iαi∗gi(x∗)+∑iβi∗hi(x∗)=f(x∗),所以
∑iβi∗hi(x∗)=0、
∑iαi∗gi(x∗)=0。
∑iβi∗hi(x∗)=0是显然的,因为根据约束条件本来就有
hi(x∗)=0,重点是原本的
∑iαi∗gi(x∗)≤0现在取到了等号。
综合以上两点,在加上原来的约束,可以得到KKT条件:
![](https://i-blog.csdnimg.cn/blog_migrate/a4472fe4cf4ffbbf09c19c699fee5880.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7f4bc93388b8220cec15189c20eae5e4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1acaef9f48694c7ee7e9cb79078f6328.png)
![](https://i-blog.csdnimg.cn/blog_migrate/233d6729d91bed71e7935c3e880ada17.png)
![](https://i-blog.csdnimg.cn/blog_migrate/233d6729d91bed71e7935c3e880ada17.png)
![](https://i-blog.csdnimg.cn/blog_migrate/233d6729d91bed71e7935c3e880ada17.png)
![](https://i-blog.csdnimg.cn/blog_migrate/233d6729d91bed71e7935c3e880ada17.png)
![](https://i-blog.csdnimg.cn/blog_migrate/233d6729d91bed71e7935c3e880ada17.png)
![](https://i-blog.csdnimg.cn/blog_migrate/233d6729d91bed71e7935c3e880ada17.png)
![](https://i-blog.csdnimg.cn/blog_migrate/233d6729d91bed71e7935c3e880ada17.png)
![](https://i-blog.csdnimg.cn/blog_migrate/233d6729d91bed71e7935c3e880ada17.png)
![](https://i-blog.csdnimg.cn/blog_migrate/233d6729d91bed71e7935c3e880ada17.png)
![](https://i-blog.csdnimg.cn/blog_migrate/233d6729d91bed71e7935c3e880ada17.png)
![](https://i-blog.csdnimg.cn/blog_migrate/233d6729d91bed71e7935c3e880ada17.png)
![](https://i-blog.csdnimg.cn/blog_migrate/233d6729d91bed71e7935c3e880ada17.png)
![](https://i-blog.csdnimg.cn/blog_migrate/233d6729d91bed71e7935c3e880ada17.png)
![](https://i-blog.csdnimg.cn/blog_migrate/233d6729d91bed71e7935c3e880ada17.png)
![](https://i-blog.csdnimg.cn/blog_migrate/233d6729d91bed71e7935c3e880ada17.png)
![](https://i-blog.csdnimg.cn/blog_migrate/233d6729d91bed71e7935c3e880ada17.png)
![](https://i-blog.csdnimg.cn/blog_migrate/233d6729d91bed71e7935c3e880ada17.png)
![](https://i-blog.csdnimg.cn/blog_migrate/233d6729d91bed71e7935c3e880ada17.png)
![](https://i-blog.csdnimg.cn/blog_migrate/572ebba44ed181a1da2a77e2c6ca1204.png)
![](https://i-blog.csdnimg.cn/blog_migrate/a5f7945cb29a2b71c6f07b70dc3813d7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d507943603aa64df83bba2bb149c4714.png)
![](https://i-blog.csdnimg.cn/blog_migrate/05c8fd8693c1c0df801db5fc9327b1e2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5e463925eaaaa8827d5f3d934696256a.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9b761d86e7b770d6c1afc949ec20b266.png)
![](https://i-blog.csdnimg.cn/blog_migrate/48b1df8af3643a0b868d76dd9f6a4eb7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5e463925eaaaa8827d5f3d934696256a.png)
![](https://i-blog.csdnimg.cn/blog_migrate/2c267dc00489108823a9e4c1a1b23787.png)
![](https://i-blog.csdnimg.cn/blog_migrate/48b1df8af3643a0b868d76dd9f6a4eb7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ece241d88bed59df0e336512680278fc.png)
![](https://i-blog.csdnimg.cn/blog_migrate/572ebba44ed181a1da2a77e2c6ca1204.png)
![](https://i-blog.csdnimg.cn/blog_migrate/05c8fd8693c1c0df801db5fc9327b1e2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5ba8f6b2cfb3f2ae594c97871b583d20.png)
![](https://i-blog.csdnimg.cn/blog_migrate/05c8fd8693c1c0df801db5fc9327b1e2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/48b1df8af3643a0b868d76dd9f6a4eb7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3f77ee0e67bf691be5bd110737181ae6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/10cba0ffe69cd900c24c5299a8d08feb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa6c2c69a1cf10a8bcdef24c2554fa26.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f4986df205e44deb0837020dfe90e285.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1a7d60759fd2041ac3412bf6e5fb16a7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7bc68beb72b8b4ef8fda61133418b57c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1a7d60759fd2041ac3412bf6e5fb16a7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3f77ee0e67bf691be5bd110737181ae6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/10cba0ffe69cd900c24c5299a8d08feb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f4986df205e44deb0837020dfe90e285.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1a7d60759fd2041ac3412bf6e5fb16a7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/39aa9320d3a480b38821d819223b0608.png)
![](https://i-blog.csdnimg.cn/blog_migrate/10cba0ffe69cd900c24c5299a8d08feb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7bc68beb72b8b4ef8fda61133418b57c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1a7d60759fd2041ac3412bf6e5fb16a7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/894a97bd64c57015422fe3288c5e3bb3.png)
![](https://i-blog.csdnimg.cn/blog_migrate/10cba0ffe69cd900c24c5299a8d08feb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b118516083c6e628292b10734e6deae7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1a7d60759fd2041ac3412bf6e5fb16a7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3f77ee0e67bf691be5bd110737181ae6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/10cba0ffe69cd900c24c5299a8d08feb.png)
KKT条件是
d∗=p∗的必要条件,给出了当原问题和对偶问题等价时对应最优值点所满足的性质。
尽管KKT条件是
d∗=p∗的必要条件,但当原问题是凸优化问题时,它就升级为充要条件,也就是只要找到
x∗,α∗,β∗ 满足以上五个条件,那么原问题就和对偶问题就有相同的解,分别在
x∗和
(α∗,β∗)处取得。
另外,根据KKT条件中的
∑iαi∗gi(x∗)=0可以得到,
gi(x∗)<0⇒αi∗=0,反过来说,只有
gi(x∗)=0,
αi∗才有可能不为0,这是SVM中用到的一个重要性质。