前一篇SVM之问题形式化中将最大间隔分类器形式化为以下优化问题:
![](https://i-blog.csdnimg.cn/blog_migrate/8a1c2ffa2bd0cc6df63b044852d60a67.png)
![](https://i-blog.csdnimg.cn/blog_migrate/67a84f4e1878d11bafb7876f951c2211.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bfb80f0a1ee23a2cbf92423bf6ed18a6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/19da6a8df08dbe183221a924849c556d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/634a0db55638c6736e25334de145c536.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5e463925eaaaa8827d5f3d934696256a.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0a0a15a30f50fdadc161ee2e42b2a2e9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/becd78c0944b08d714432cd4e150ec6d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e98ebe837d1fd8126c2c39c9823aa305.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4bf2f97ebfff90a62a52c608c4dd8b04.png)
![](https://i-blog.csdnimg.cn/blog_migrate/40fa066d9e4f1b1dc063b2444fea631c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4bf2f97ebfff90a62a52c608c4dd8b04.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e98ebe837d1fd8126c2c39c9823aa305.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6c9597695dae2a2b008746e88481cf92.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4324ed366ed8f5cda4de10ddb2b9b591.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3d9d71b76c1e848bc56d134ebe1b8ec4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4324ed366ed8f5cda4de10ddb2b9b591.png)
![](https://i-blog.csdnimg.cn/blog_migrate/92d78adcee450910e4b88030f4540c66.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/40fa066d9e4f1b1dc063b2444fea631c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/af73db130e3ce5c586dac24b571c136e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8b2cb2b2ca0937287acbf1eaa98410c9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/40bf412a481d13f63f56c3adf3a3a6f7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/39aa9320d3a480b38821d819223b0608.png)
![](https://i-blog.csdnimg.cn/blog_migrate/2c56dad2551f4e96aff4fd10e80e4d74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/2c56dad2551f4e96aff4fd10e80e4d74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
容易发现这是一个凸优化问题,而凸优化问题问题一般而言是满足Slater条件的(具体证明我也不懂),所以可以等价地求解其对偶问题。转而求解其对偶问题,是因为它的对偶问题有很好的形式(向量内积形式),可以为SVM很方便的引人核函数。关于对偶问题的基本概念在写在SVM之前——凸优化与对偶问题一文中已做粗略介绍。现在,写出以上优化问题的对偶形式。
首先,将(1)化为标准形式
![](https://i-blog.csdnimg.cn/blog_migrate/8a1c2ffa2bd0cc6df63b044852d60a67.png)
![](https://i-blog.csdnimg.cn/blog_migrate/67a84f4e1878d11bafb7876f951c2211.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bfb80f0a1ee23a2cbf92423bf6ed18a6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/19da6a8df08dbe183221a924849c556d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/634a0db55638c6736e25334de145c536.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5e463925eaaaa8827d5f3d934696256a.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0a0a15a30f50fdadc161ee2e42b2a2e9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/becd78c0944b08d714432cd4e150ec6d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e98ebe837d1fd8126c2c39c9823aa305.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4bf2f97ebfff90a62a52c608c4dd8b04.png)
![](https://i-blog.csdnimg.cn/blog_migrate/40fa066d9e4f1b1dc063b2444fea631c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4bf2f97ebfff90a62a52c608c4dd8b04.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e98ebe837d1fd8126c2c39c9823aa305.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6c9597695dae2a2b008746e88481cf92.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4324ed366ed8f5cda4de10ddb2b9b591.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3d9d71b76c1e848bc56d134ebe1b8ec4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4324ed366ed8f5cda4de10ddb2b9b591.png)
![](https://i-blog.csdnimg.cn/blog_migrate/2c56dad2551f4e96aff4fd10e80e4d74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/caec8a25c90cc1c44dc58bc6e8a65c8a.png)
![](https://i-blog.csdnimg.cn/blog_migrate/92d78adcee450910e4b88030f4540c66.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/40fa066d9e4f1b1dc063b2444fea631c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/af73db130e3ce5c586dac24b571c136e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8b2cb2b2ca0937287acbf1eaa98410c9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/40bf412a481d13f63f56c3adf3a3a6f7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/894a97bd64c57015422fe3288c5e3bb3.png)
![](https://i-blog.csdnimg.cn/blog_migrate/10cba0ffe69cd900c24c5299a8d08feb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/00911c28641048c64f52ff1846062d6a.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
构建拉格朗日函数:
![](https://i-blog.csdnimg.cn/blog_migrate/47f96e8870e3ff9917cbdfcad2f15c9f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/40fa066d9e4f1b1dc063b2444fea631c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e65772aa812105ef8508cf64d1fd482d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/40bf412a481d13f63f56c3adf3a3a6f7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e65772aa812105ef8508cf64d1fd482d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f4986df205e44deb0837020dfe90e285.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3f77ee0e67bf691be5bd110737181ae6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/2c56dad2551f4e96aff4fd10e80e4d74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/00911c28641048c64f52ff1846062d6a.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4bf2f97ebfff90a62a52c608c4dd8b04.png)
![](https://i-blog.csdnimg.cn/blog_migrate/40fa066d9e4f1b1dc063b2444fea631c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4bf2f97ebfff90a62a52c608c4dd8b04.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e98ebe837d1fd8126c2c39c9823aa305.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8b2cb2b2ca0937287acbf1eaa98410c9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7c22319837200c06e760053654df8df9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f4986df205e44deb0837020dfe90e285.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/2c56dad2551f4e96aff4fd10e80e4d74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/caec8a25c90cc1c44dc58bc6e8a65c8a.png)
![](https://i-blog.csdnimg.cn/blog_migrate/92d78adcee450910e4b88030f4540c66.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/40fa066d9e4f1b1dc063b2444fea631c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/af73db130e3ce5c586dac24b571c136e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8b2cb2b2ca0937287acbf1eaa98410c9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/40bf412a481d13f63f56c3adf3a3a6f7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3f60db17f2d6f1e8c89b2bc86ed25c5e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
令
θD(α)=minw,bL(w,b,α),则(2)的对偶问题可以写成
![](https://i-blog.csdnimg.cn/blog_migrate/67a84f4e1878d11bafb7876f951c2211.png)
![](https://i-blog.csdnimg.cn/blog_migrate/62f7e6f68a8baf1e6762f505742e7e87.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e2850c94f25360581156636f9737e899.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9b761d86e7b770d6c1afc949ec20b266.png)
![](https://i-blog.csdnimg.cn/blog_migrate/67a84f4e1878d11bafb7876f951c2211.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bfb80f0a1ee23a2cbf92423bf6ed18a6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/19da6a8df08dbe183221a924849c556d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/634a0db55638c6736e25334de145c536.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5e463925eaaaa8827d5f3d934696256a.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0a0a15a30f50fdadc161ee2e42b2a2e9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/47f96e8870e3ff9917cbdfcad2f15c9f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/40fa066d9e4f1b1dc063b2444fea631c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e65772aa812105ef8508cf64d1fd482d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/40bf412a481d13f63f56c3adf3a3a6f7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e65772aa812105ef8508cf64d1fd482d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f4986df205e44deb0837020dfe90e285.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3f77ee0e67bf691be5bd110737181ae6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/67a84f4e1878d11bafb7876f951c2211.png)
![](https://i-blog.csdnimg.cn/blog_migrate/62f7e6f68a8baf1e6762f505742e7e87.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e2850c94f25360581156636f9737e899.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9b761d86e7b770d6c1afc949ec20b266.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0d4dda0f8cd5fec324739215178bde5f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/68ec09ae055a8611e578a0a1a9b5ace0.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f4986df205e44deb0837020dfe90e285.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/297b800dd6ece32d04c53eaf3997482d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
首先求出
θD(α)。
θD(α)是函数
L(w,b,α)关于变量
(w,b) 的最小值,且容易发现
L(w,b,α)是关于
(w,b)的凸函数,所以可以直接求偏导数并令其为0得到解。
L(w,b,α) 关于
w 求偏导:
∂L(w,b,α)∂w=∂[12∥w∥2+∑iαi(1−yi(wTxi+b))]∂w=∂[12wTw+∑iαi(1−yi(wTxi+b))]∂w=w−∑iαiyixi
令其为0,得到
![](https://i-blog.csdnimg.cn/blog_migrate/40fa066d9e4f1b1dc063b2444fea631c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3f77ee0e67bf691be5bd110737181ae6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7c22319837200c06e760053654df8df9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f4986df205e44deb0837020dfe90e285.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/92d78adcee450910e4b88030f4540c66.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/2699e5e6014086c340e561d0946c32d8.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
L(w,b,α) 关于
b 求偏导:
∂L(w,b,α)∂b=∂[12∥w∥2+∑iαi(1−yi(wTxi+b))]∂b=−∑iαiyi
令其为0,得到
![](https://i-blog.csdnimg.cn/blog_migrate/7c22319837200c06e760053654df8df9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f4986df205e44deb0837020dfe90e285.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/92d78adcee450910e4b88030f4540c66.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3f77ee0e67bf691be5bd110737181ae6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/10cba0ffe69cd900c24c5299a8d08feb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e0caf44b97fbd7a6cc76aeb2ceb5b7e7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
现在,将(5) 代回(3),得到
θD(α)=12∥w∥2+∑iαi(1−yi(wTxi+b))=12wTw+∑iαi(1−yi(wTxi+b))=12∑i,jαiαjyiyj(xi)Txj+∑iαi−∑i,jαiαjyiyj(xi)Txj−b∑iαiyi=∑iαi−12∑i,jαiαjyiyj(xi)Txj−b∑iαiyi
再根据(6),得到
![](https://i-blog.csdnimg.cn/blog_migrate/0d4dda0f8cd5fec324739215178bde5f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/68ec09ae055a8611e578a0a1a9b5ace0.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f4986df205e44deb0837020dfe90e285.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3f77ee0e67bf691be5bd110737181ae6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7c22319837200c06e760053654df8df9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f4986df205e44deb0837020dfe90e285.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/caec8a25c90cc1c44dc58bc6e8a65c8a.png)
![](https://i-blog.csdnimg.cn/blog_migrate/2c56dad2551f4e96aff4fd10e80e4d74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/00911c28641048c64f52ff1846062d6a.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7c22319837200c06e760053654df8df9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5e463925eaaaa8827d5f3d934696256a.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6b88272f07d175e5d65a217429b3a560.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f4986df205e44deb0837020dfe90e285.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f4986df205e44deb0837020dfe90e285.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6b88272f07d175e5d65a217429b3a560.png)
![](https://i-blog.csdnimg.cn/blog_migrate/92d78adcee450910e4b88030f4540c66.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/92d78adcee450910e4b88030f4540c66.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6b88272f07d175e5d65a217429b3a560.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/af73db130e3ce5c586dac24b571c136e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6b88272f07d175e5d65a217429b3a560.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3f77ee0e67bf691be5bd110737181ae6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7c22319837200c06e760053654df8df9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f4986df205e44deb0837020dfe90e285.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/caec8a25c90cc1c44dc58bc6e8a65c8a.png)
![](https://i-blog.csdnimg.cn/blog_migrate/2c56dad2551f4e96aff4fd10e80e4d74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/00911c28641048c64f52ff1846062d6a.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7c22319837200c06e760053654df8df9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5e463925eaaaa8827d5f3d934696256a.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6b88272f07d175e5d65a217429b3a560.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f4986df205e44deb0837020dfe90e285.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f4986df205e44deb0837020dfe90e285.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6b88272f07d175e5d65a217429b3a560.png)
![](https://i-blog.csdnimg.cn/blog_migrate/92d78adcee450910e4b88030f4540c66.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/92d78adcee450910e4b88030f4540c66.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6b88272f07d175e5d65a217429b3a560.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d4b491f192380190650dba82e572d724.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e65772aa812105ef8508cf64d1fd482d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6b88272f07d175e5d65a217429b3a560.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9b2305d5e383f23cad9d0c0c6955c1be.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fd6db7596a44a8be828db815707789f6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/69be94b8ec73089d75034d30f2da7687.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
这便求出了
θD(α),而对偶问题是
maxαθD(α)。加上约束条件,对偶问题就可以写成
![](https://i-blog.csdnimg.cn/blog_migrate/a4472fe4cf4ffbbf09c19c699fee5880.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7f4bc93388b8220cec15189c20eae5e4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1acaef9f48694c7ee7e9cb79078f6328.png)
![](https://i-blog.csdnimg.cn/blog_migrate/233d6729d91bed71e7935c3e880ada17.png)
![](https://i-blog.csdnimg.cn/blog_migrate/233d6729d91bed71e7935c3e880ada17.png)
![](https://i-blog.csdnimg.cn/blog_migrate/233d6729d91bed71e7935c3e880ada17.png)
![](https://i-blog.csdnimg.cn/blog_migrate/233d6729d91bed71e7935c3e880ada17.png)
![](https://i-blog.csdnimg.cn/blog_migrate/233d6729d91bed71e7935c3e880ada17.png)
![](https://i-blog.csdnimg.cn/blog_migrate/233d6729d91bed71e7935c3e880ada17.png)
![](https://i-blog.csdnimg.cn/blog_migrate/233d6729d91bed71e7935c3e880ada17.png)
![](https://i-blog.csdnimg.cn/blog_migrate/233d6729d91bed71e7935c3e880ada17.png)
![](https://i-blog.csdnimg.cn/blog_migrate/233d6729d91bed71e7935c3e880ada17.png)
![](https://i-blog.csdnimg.cn/blog_migrate/233d6729d91bed71e7935c3e880ada17.png)
![](https://i-blog.csdnimg.cn/blog_migrate/67a84f4e1878d11bafb7876f951c2211.png)
![](https://i-blog.csdnimg.cn/blog_migrate/62f7e6f68a8baf1e6762f505742e7e87.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e2850c94f25360581156636f9737e899.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9b761d86e7b770d6c1afc949ec20b266.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa6c2c69a1cf10a8bcdef24c2554fa26.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f4986df205e44deb0837020dfe90e285.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/caec8a25c90cc1c44dc58bc6e8a65c8a.png)
![](https://i-blog.csdnimg.cn/blog_migrate/becd78c0944b08d714432cd4e150ec6d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e98ebe837d1fd8126c2c39c9823aa305.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa6c2c69a1cf10a8bcdef24c2554fa26.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5e463925eaaaa8827d5f3d934696256a.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6b88272f07d175e5d65a217429b3a560.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f4986df205e44deb0837020dfe90e285.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f4986df205e44deb0837020dfe90e285.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6b88272f07d175e5d65a217429b3a560.png)
![](https://i-blog.csdnimg.cn/blog_migrate/92d78adcee450910e4b88030f4540c66.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/92d78adcee450910e4b88030f4540c66.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6b88272f07d175e5d65a217429b3a560.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d4b491f192380190650dba82e572d724.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e65772aa812105ef8508cf64d1fd482d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6b88272f07d175e5d65a217429b3a560.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9b2305d5e383f23cad9d0c0c6955c1be.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6c9597695dae2a2b008746e88481cf92.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4324ed366ed8f5cda4de10ddb2b9b591.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3d9d71b76c1e848bc56d134ebe1b8ec4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4324ed366ed8f5cda4de10ddb2b9b591.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8a1c2ffa2bd0cc6df63b044852d60a67.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f4986df205e44deb0837020dfe90e285.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/39aa9320d3a480b38821d819223b0608.png)
![](https://i-blog.csdnimg.cn/blog_migrate/10cba0ffe69cd900c24c5299a8d08feb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa6c2c69a1cf10a8bcdef24c2554fa26.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f4986df205e44deb0837020dfe90e285.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/92d78adcee450910e4b88030f4540c66.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3f77ee0e67bf691be5bd110737181ae6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/10cba0ffe69cd900c24c5299a8d08feb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/c6130054d16322015231795a803eb206.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
其中约束
αi≥0是拉格朗日对偶问题本身的要求,约束
∑iαiyi=0代表
∂L(w,b,α)∂b=0的结果。
现在,对偶问题就得到了。对偶问题求解的结果是得到
α 的取值。当
α得到解后,就可以根据
w=∑iαiyixi解出
w 。
w确定了分类超平面的方向,
b 使得超平面有一个平移,根据最大间隔分类器的准则,最优超平面是穿过两类样本“最中间”的一个平面,所以
b并不难确定
![](https://i-blog.csdnimg.cn/blog_migrate/40bf412a481d13f63f56c3adf3a3a6f7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3f77ee0e67bf691be5bd110737181ae6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/caec8a25c90cc1c44dc58bc6e8a65c8a.png)
![](https://i-blog.csdnimg.cn/blog_migrate/67a84f4e1878d11bafb7876f951c2211.png)
![](https://i-blog.csdnimg.cn/blog_migrate/62f7e6f68a8baf1e6762f505742e7e87.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e2850c94f25360581156636f9737e899.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/a8f254bd22f5bce2b3518cc56a627758.png)
![](https://i-blog.csdnimg.cn/blog_migrate/23b75d9db23419d454c3d1ef7804c373.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8a81b9d01e5209d19c48276d97133ee3.png)
![](https://i-blog.csdnimg.cn/blog_migrate/326a7db216f91e224114472bc45873f3.png)
![](https://i-blog.csdnimg.cn/blog_migrate/82548a8215e7d4e4e1027a9769b8cded.png)
![](https://i-blog.csdnimg.cn/blog_migrate/becd78c0944b08d714432cd4e150ec6d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/40fa066d9e4f1b1dc063b2444fea631c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/af73db130e3ce5c586dac24b571c136e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8b2cb2b2ca0937287acbf1eaa98410c9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/67a84f4e1878d11bafb7876f951c2211.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bfb80f0a1ee23a2cbf92423bf6ed18a6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/19da6a8df08dbe183221a924849c556d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/a8f254bd22f5bce2b3518cc56a627758.png)
![](https://i-blog.csdnimg.cn/blog_migrate/23b75d9db23419d454c3d1ef7804c373.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8a81b9d01e5209d19c48276d97133ee3.png)
![](https://i-blog.csdnimg.cn/blog_migrate/326a7db216f91e224114472bc45873f3.png)
![](https://i-blog.csdnimg.cn/blog_migrate/becd78c0944b08d714432cd4e150ec6d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/40fa066d9e4f1b1dc063b2444fea631c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/af73db130e3ce5c586dac24b571c136e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/00911c28641048c64f52ff1846062d6a.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/2c56dad2551f4e96aff4fd10e80e4d74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/10cba0ffe69cd900c24c5299a8d08feb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
(w,b) 确定后,分类器就确定了,就是超平面
wTx+b=0 ,对于新的输入样本
x ,如果
wTx+b>0则判别它样本类别为1,否则判别它样本类别为-1。
现在不求解
w ,而是将
w=∑iαiyixi 带入判别式
wTx+b 中,得
![](https://i-blog.csdnimg.cn/blog_migrate/40fa066d9e4f1b1dc063b2444fea631c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/af73db130e3ce5c586dac24b571c136e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8b2cb2b2ca0937287acbf1eaa98410c9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/40bf412a481d13f63f56c3adf3a3a6f7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3f77ee0e67bf691be5bd110737181ae6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7c22319837200c06e760053654df8df9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f4986df205e44deb0837020dfe90e285.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/92d78adcee450910e4b88030f4540c66.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d4b491f192380190650dba82e572d724.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e65772aa812105ef8508cf64d1fd482d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9b2305d5e383f23cad9d0c0c6955c1be.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8b2cb2b2ca0937287acbf1eaa98410c9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/40bf412a481d13f63f56c3adf3a3a6f7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/2c56dad2551f4e96aff4fd10e80e4d74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/2c56dad2551f4e96aff4fd10e80e4d74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
上式将判别式写成了向量内积的形式,看似需要计算输入
x与所有训练样本的内积,但实际上还可以简化。
回顾写在SVM之前——凸优化与对偶问题一文提到的KKT条件
αigi(x)=0 ,只有
gi(x)=0时
αi 才可能不为0。对应到现在的分类器:
x→(w,b),gi(x)→gi(w,b)=1−yi(wTxi+b) (注意这里的
x 是优化问题形式化中的优化变量,不要与上文中的新输入样本
x 混淆)。所以只有当
1−yi(wTxi+b)=0时,对于的
αi 才可能不为0,那么(11)的计算实际上只需计算了部分训练样本与新输入样本的内积,这部分
1−yi(wTxi+b)=0的训练样本称为支持向量,这也是SVM——支持向量机名字的来源。
考虑支持向量满足
1−yi(wTxi+b)=0,所以
yi(wTxi+b)=1,而
yi(wTxi+b)正是样本函数间隔的定义,也就是说,支持向量就是函数间隔为1的样本,它们也是所有样本中函数间隔最小的样本。
上图标出来最优分类超平面(红色)和对于的函数间隔为1的样本(两条黑线上的样本),对左侧黑线上的支持向量有
wTxl+b=−1 ,对于右侧黑线上的支持向量有
wTxr+b=1,根据KKT条件,这两个样本可以根据
αl>0 和
αr>0找到,两个式子联立起来得到
b=−wTxl+wTxr2 ,与(10)的是一致的。其实从这里就可以看出,只需要一个样本就可以确定
b了,根据
wTxr+b=1,就可以解出
b,
b=−wTxl+wTxr2和(10)比较直观的说明分类超平面穿过两类样本正中间而已。
现在,分类器的内容似乎已经完整了,但不要忘了,这都是在样本可分的情况下进行的,还没有考虑样本不可分的情况。
核函数在一定程度上解决了样本不可分问题,观察优化问题(9)和判别函数(11),其中都存在向量的内积形式,核函数正是在这上面做文章的。下一篇SVM之核函数将讨论这个问题。