上一篇SVM之对偶问题中讨论到,SVM最终形式化为以下优化问题
![](https://i-blog.csdnimg.cn/blog_migrate/a4472fe4cf4ffbbf09c19c699fee5880.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7f4bc93388b8220cec15189c20eae5e4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1acaef9f48694c7ee7e9cb79078f6328.png)
![](https://i-blog.csdnimg.cn/blog_migrate/233d6729d91bed71e7935c3e880ada17.png)
![](https://i-blog.csdnimg.cn/blog_migrate/233d6729d91bed71e7935c3e880ada17.png)
![](https://i-blog.csdnimg.cn/blog_migrate/233d6729d91bed71e7935c3e880ada17.png)
![](https://i-blog.csdnimg.cn/blog_migrate/233d6729d91bed71e7935c3e880ada17.png)
![](https://i-blog.csdnimg.cn/blog_migrate/233d6729d91bed71e7935c3e880ada17.png)
![](https://i-blog.csdnimg.cn/blog_migrate/233d6729d91bed71e7935c3e880ada17.png)
![](https://i-blog.csdnimg.cn/blog_migrate/233d6729d91bed71e7935c3e880ada17.png)
![](https://i-blog.csdnimg.cn/blog_migrate/233d6729d91bed71e7935c3e880ada17.png)
![](https://i-blog.csdnimg.cn/blog_migrate/233d6729d91bed71e7935c3e880ada17.png)
![](https://i-blog.csdnimg.cn/blog_migrate/233d6729d91bed71e7935c3e880ada17.png)
![](https://i-blog.csdnimg.cn/blog_migrate/67a84f4e1878d11bafb7876f951c2211.png)
![](https://i-blog.csdnimg.cn/blog_migrate/62f7e6f68a8baf1e6762f505742e7e87.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e2850c94f25360581156636f9737e899.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9b761d86e7b770d6c1afc949ec20b266.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa6c2c69a1cf10a8bcdef24c2554fa26.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f4986df205e44deb0837020dfe90e285.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/caec8a25c90cc1c44dc58bc6e8a65c8a.png)
![](https://i-blog.csdnimg.cn/blog_migrate/becd78c0944b08d714432cd4e150ec6d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e98ebe837d1fd8126c2c39c9823aa305.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa6c2c69a1cf10a8bcdef24c2554fa26.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5e463925eaaaa8827d5f3d934696256a.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6b88272f07d175e5d65a217429b3a560.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f4986df205e44deb0837020dfe90e285.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f4986df205e44deb0837020dfe90e285.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6b88272f07d175e5d65a217429b3a560.png)
![](https://i-blog.csdnimg.cn/blog_migrate/92d78adcee450910e4b88030f4540c66.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/92d78adcee450910e4b88030f4540c66.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6b88272f07d175e5d65a217429b3a560.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d4b491f192380190650dba82e572d724.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e65772aa812105ef8508cf64d1fd482d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6b88272f07d175e5d65a217429b3a560.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9b2305d5e383f23cad9d0c0c6955c1be.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6c9597695dae2a2b008746e88481cf92.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4324ed366ed8f5cda4de10ddb2b9b591.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3d9d71b76c1e848bc56d134ebe1b8ec4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4324ed366ed8f5cda4de10ddb2b9b591.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8a1c2ffa2bd0cc6df63b044852d60a67.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f4986df205e44deb0837020dfe90e285.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/39aa9320d3a480b38821d819223b0608.png)
![](https://i-blog.csdnimg.cn/blog_migrate/10cba0ffe69cd900c24c5299a8d08feb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa6c2c69a1cf10a8bcdef24c2554fa26.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f4986df205e44deb0837020dfe90e285.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/92d78adcee450910e4b88030f4540c66.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3f77ee0e67bf691be5bd110737181ae6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/10cba0ffe69cd900c24c5299a8d08feb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/2c56dad2551f4e96aff4fd10e80e4d74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
而且最终的判别式可以写成
![](https://i-blog.csdnimg.cn/blog_migrate/40fa066d9e4f1b1dc063b2444fea631c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/af73db130e3ce5c586dac24b571c136e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8b2cb2b2ca0937287acbf1eaa98410c9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/40bf412a481d13f63f56c3adf3a3a6f7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3f77ee0e67bf691be5bd110737181ae6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7c22319837200c06e760053654df8df9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f4986df205e44deb0837020dfe90e285.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/92d78adcee450910e4b88030f4540c66.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d4b491f192380190650dba82e572d724.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e65772aa812105ef8508cf64d1fd482d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9b2305d5e383f23cad9d0c0c6955c1be.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8b2cb2b2ca0937287acbf1eaa98410c9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/40bf412a481d13f63f56c3adf3a3a6f7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/00911c28641048c64f52ff1846062d6a.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
之前已对(1)的求解做了简单提及,需要注意的是,优化问题(1)虽然可以直接求解,但是要基于训练数据线性可分的基础,如果数据本身线性不可分呢?
解决方法之一就是将数据,或者更加正式的称为特征,向高维映射,以期待映射后数据在更高维的空间中数据可分,这样就可以在新的高维空间中继续使用之前的方法。
简单起见,考虑一维不可分的数据
显然,原始的一维数据是线性不可分的,现在取映射
ϕ(x)=(x,x2) 将原始的一维数据映射到二维,数据变的线性可分了。这种向高维映射的方法一定程度上解决的线性不可分问题,但同时也带来了相当的计算复杂度。
SVM现在将在新的二维空间运行,原来问题中的
x 将用
ϕ(x) 取代,优化问题中向量内积
<xi,xj> 也将被
<ϕ(xi),ϕ(xj)> 取代,判别函数中向量内积
<xi,x>也将被
<ϕ(xi),ϕ(x)>取代,换句话说,我们需要将原来所有一维训练样本首先一个个计算,映射到新的二维空间,然后在二维空间中计算新样本之间的内积。这与原来直接在一维空间中直接计算一维向量内积相比,虽然并不会复杂多少,然而随着样本维度和映射后维度的增加,计算复杂的的提升是非常显著的,甚至变得不可计算。(这不是危言损听,比如高斯核将样本映射的无限维空间,那么怎么计算呢?)
已经说过,上面的过程是由两个步骤组成的。首先是映射,其次是计算映射后的内积。但其实我们真正需要的知道的只是映射后的内积,我们不需要
ϕ(x) 、
ϕ(xi) 、
ϕ(xj) ,我们真正需要的是
<ϕ(xi),ϕ(xj)>和
<ϕ(xi),ϕ(x)>,这对优化问题(1)和判别函数(2)来说已经足够了。然而,怎么绕过映射本身而直接求解映射后向量内积呢?核函数就是用来做这样的事情。
核函数定义为
![](https://i-blog.csdnimg.cn/blog_migrate/7478fff59a1550cd880941ba11ef1127.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e65772aa812105ef8508cf64d1fd482d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/92d78adcee450910e4b88030f4540c66.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3f77ee0e67bf691be5bd110737181ae6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d4b491f192380190650dba82e572d724.png)
![](https://i-blog.csdnimg.cn/blog_migrate/a3da8c7dacb51cc4a4c6ce84e9552821.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/92d78adcee450910e4b88030f4540c66.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e65772aa812105ef8508cf64d1fd482d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/a3da8c7dacb51cc4a4c6ce84e9552821.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/92d78adcee450910e4b88030f4540c66.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9b2305d5e383f23cad9d0c0c6955c1be.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3f60db17f2d6f1e8c89b2bc86ed25c5e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
以上核函数的定义应该来讲是“意义化”的,而不是“计算化”的,定义中出现
ϕ(x) 、
ϕ(y) 并不表明需要显式计算映射本身,而是来说明核函数的意义是映射后向量的内积,而核函数“计算化”的定义是需要我们自己设计给出的。
还是上面一维到二维的例子,考虑两个一维样本
x和
y 映射到二维样本
ϕ(x)=(x,x2)和
ϕ(y)=(y,y2),则
![](https://i-blog.csdnimg.cn/blog_migrate/d4b491f192380190650dba82e572d724.png)
![](https://i-blog.csdnimg.cn/blog_migrate/a3da8c7dacb51cc4a4c6ce84e9552821.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e65772aa812105ef8508cf64d1fd482d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/a3da8c7dacb51cc4a4c6ce84e9552821.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/92d78adcee450910e4b88030f4540c66.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9b2305d5e383f23cad9d0c0c6955c1be.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3f77ee0e67bf691be5bd110737181ae6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e65772aa812105ef8508cf64d1fd482d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e98ebe837d1fd8126c2c39c9823aa305.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/af73db130e3ce5c586dac24b571c136e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/92d78adcee450910e4b88030f4540c66.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e65772aa812105ef8508cf64d1fd482d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/92d78adcee450910e4b88030f4540c66.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e98ebe837d1fd8126c2c39c9823aa305.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3f77ee0e67bf691be5bd110737181ae6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/92d78adcee450910e4b88030f4540c66.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8b2cb2b2ca0937287acbf1eaa98410c9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/92d78adcee450910e4b88030f4540c66.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e98ebe837d1fd8126c2c39c9823aa305.png)
那么,我们就可以定义对应的核函数为
![](https://i-blog.csdnimg.cn/blog_migrate/7478fff59a1550cd880941ba11ef1127.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e65772aa812105ef8508cf64d1fd482d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/92d78adcee450910e4b88030f4540c66.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3f77ee0e67bf691be5bd110737181ae6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/92d78adcee450910e4b88030f4540c66.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8b2cb2b2ca0937287acbf1eaa98410c9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/92d78adcee450910e4b88030f4540c66.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e98ebe837d1fd8126c2c39c9823aa305.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7478fff59a1550cd880941ba11ef1127.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e65772aa812105ef8508cf64d1fd482d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/92d78adcee450910e4b88030f4540c66.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3f77ee0e67bf691be5bd110737181ae6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/92d78adcee450910e4b88030f4540c66.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8b2cb2b2ca0937287acbf1eaa98410c9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/92d78adcee450910e4b88030f4540c66.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e98ebe837d1fd8126c2c39c9823aa305.png)
那么,当我们需要将样本向高维空间映射以期望将数据变得线性可分时,怎样找到这种映射对应的核函数呢?上面一维到二维的示例过于简单,可以很方便的找到对应的核函数,当样本维度较高时,设计一个核函数并非易事。幸运的是,牛人们已经帮我们设计好了许多核函数,所以我们现在不需要根据映射去设计对应的精确的核函数,而是反过来选取设计好的核函数来尽可能满足我们的映射,保证映射后数据尽可能的线性可分。
常见的核函数有高斯核、多项式核、感知器核等。
高斯核:
K(x,y)=exp(−∥x−y∥22σ2)
多项式核:
K(x,y)=(<x,y>+c)d
感知器核:
K(x,y)=tanh(ρ1<x,y>+ρ2)
这些核函数都对应不同的映射,拥有不同的性质。比如高斯核对应一个到无限维空间的映射,而且高斯核的意义比较明确:对原空间内相近的两个向量
x、
y计算 结果的数值较大,反之较小,参数
σ 控制这核函数值随
∥x−y∥2变化的速度;多项式核对应一个到
Cn+dd 维的映射。仅从这两个其他核函数的映射维度来看,核函数在降低计算复杂度上是很显著的,比如对多项式核,可以取
n (原样本维度)和
d 为不同值,看看映射后维度有多高。其他关于核函数本身的性质可以去查看专门的文献。作为一般应用,以上几个核函数可能在很多情况下已经够用了,而且高斯核应用最广。
已经选取好核函数之后,需要做到就是将原来的优化问题和判别函数中的向量内积用核函数替代,这样优化问题变为:
![](https://i-blog.csdnimg.cn/blog_migrate/a4472fe4cf4ffbbf09c19c699fee5880.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7f4bc93388b8220cec15189c20eae5e4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1acaef9f48694c7ee7e9cb79078f6328.png)
![](https://i-blog.csdnimg.cn/blog_migrate/233d6729d91bed71e7935c3e880ada17.png)
![](https://i-blog.csdnimg.cn/blog_migrate/233d6729d91bed71e7935c3e880ada17.png)
![](https://i-blog.csdnimg.cn/blog_migrate/233d6729d91bed71e7935c3e880ada17.png)
![](https://i-blog.csdnimg.cn/blog_migrate/233d6729d91bed71e7935c3e880ada17.png)
![](https://i-blog.csdnimg.cn/blog_migrate/233d6729d91bed71e7935c3e880ada17.png)
![](https://i-blog.csdnimg.cn/blog_migrate/233d6729d91bed71e7935c3e880ada17.png)
![](https://i-blog.csdnimg.cn/blog_migrate/233d6729d91bed71e7935c3e880ada17.png)
![](https://i-blog.csdnimg.cn/blog_migrate/233d6729d91bed71e7935c3e880ada17.png)
![](https://i-blog.csdnimg.cn/blog_migrate/233d6729d91bed71e7935c3e880ada17.png)
![](https://i-blog.csdnimg.cn/blog_migrate/233d6729d91bed71e7935c3e880ada17.png)
![](https://i-blog.csdnimg.cn/blog_migrate/67a84f4e1878d11bafb7876f951c2211.png)
![](https://i-blog.csdnimg.cn/blog_migrate/62f7e6f68a8baf1e6762f505742e7e87.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e2850c94f25360581156636f9737e899.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9b761d86e7b770d6c1afc949ec20b266.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa6c2c69a1cf10a8bcdef24c2554fa26.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f4986df205e44deb0837020dfe90e285.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/caec8a25c90cc1c44dc58bc6e8a65c8a.png)
![](https://i-blog.csdnimg.cn/blog_migrate/becd78c0944b08d714432cd4e150ec6d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e98ebe837d1fd8126c2c39c9823aa305.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa6c2c69a1cf10a8bcdef24c2554fa26.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5e463925eaaaa8827d5f3d934696256a.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6b88272f07d175e5d65a217429b3a560.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f4986df205e44deb0837020dfe90e285.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f4986df205e44deb0837020dfe90e285.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6b88272f07d175e5d65a217429b3a560.png)
![](https://i-blog.csdnimg.cn/blog_migrate/92d78adcee450910e4b88030f4540c66.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/92d78adcee450910e4b88030f4540c66.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6b88272f07d175e5d65a217429b3a560.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7478fff59a1550cd880941ba11ef1127.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e65772aa812105ef8508cf64d1fd482d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6b88272f07d175e5d65a217429b3a560.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6c9597695dae2a2b008746e88481cf92.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4324ed366ed8f5cda4de10ddb2b9b591.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3d9d71b76c1e848bc56d134ebe1b8ec4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4324ed366ed8f5cda4de10ddb2b9b591.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8a1c2ffa2bd0cc6df63b044852d60a67.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f4986df205e44deb0837020dfe90e285.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/39aa9320d3a480b38821d819223b0608.png)
![](https://i-blog.csdnimg.cn/blog_migrate/10cba0ffe69cd900c24c5299a8d08feb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa6c2c69a1cf10a8bcdef24c2554fa26.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f4986df205e44deb0837020dfe90e285.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/92d78adcee450910e4b88030f4540c66.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3f77ee0e67bf691be5bd110737181ae6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/10cba0ffe69cd900c24c5299a8d08feb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/297b800dd6ece32d04c53eaf3997482d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
判别函数变为:
![](https://i-blog.csdnimg.cn/blog_migrate/40fa066d9e4f1b1dc063b2444fea631c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/af73db130e3ce5c586dac24b571c136e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8b2cb2b2ca0937287acbf1eaa98410c9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/40bf412a481d13f63f56c3adf3a3a6f7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3f77ee0e67bf691be5bd110737181ae6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7c22319837200c06e760053654df8df9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f4986df205e44deb0837020dfe90e285.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/92d78adcee450910e4b88030f4540c66.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7478fff59a1550cd880941ba11ef1127.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e65772aa812105ef8508cf64d1fd482d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8b2cb2b2ca0937287acbf1eaa98410c9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/40bf412a481d13f63f56c3adf3a3a6f7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/2699e5e6014086c340e561d0946c32d8.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
现在我们去求解优化问题(4)后用判别式(5)对新样本分类。
需要注意,核函数不是SVM的专利,只是在SVM中的一个应用,其他所有存在向量内积的场景,如果需要都可以引人核函数。
核函数隐藏着一个到高维的映射,可能使得数据在高维变得线性可分,但并不保证映射后一定是线性可分的。那怎样彻底处理线性不可分的问题呢?其实可以换个思路,我们并不要求数据一定得线性可分,不过如果有些样本错分了,我们给它一个惩罚代价,并将惩罚代价引人优化目标,这样的话,虽然分类器不能保证对训练数据线性可分,但它会根据我们给出的惩罚因子找到代价最小的分类器。这个问题将在下一篇文章SVM之解决线性不可分中介绍。