SVM(Support Vector Machines)是分类算法中应用广泛、效果不错的一类。《统计学习方法》对SVM的数学原理做了详细推导与论述,本文仅做整理。由简至繁SVM可分类为三类:线性可分(linear SVM in linearly separable case)的线性SVM、线性不可分的线性SVM、非线性(nonlinear)SVM。
1. 线性可分
对于二类分类问题,训练集
![](https://i-blog.csdnimg.cn/blog_migrate/6ed70225f2c1f1f23a2943d0af421ad2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/c3838f8a515c30575ebccf6da0775b90.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3c017187e73ba76794a360a8d0e7fdcf.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9526014231cb300f9a18b572ec0a0cf5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4705aa4ed4b67dc207476fabd1c4cc78.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e2918013f651930d37d12461f46ef48e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5882afcf29685d3fb4cc03444b0fa261.png)
,线性SVM通过学习得到分离超平面(hyperplane):
![](https://i-blog.csdnimg.cn/blog_migrate/1bf1b29f2cbe7158ef1bbfcdf0d6bb10.png)
![](https://i-blog.csdnimg.cn/blog_migrate/91cbba5373cdb9b0ea69436b86c37b9e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3a13c9aa1df53226801f4440689d22b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6f76ad74e4e3523c5effb945aaa077a6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/46a7d2fffb622460eb528cb0993dca8e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/40827a6398fcec6b551562eca003ceb9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9526014231cb300f9a18b572ec0a0cf5.png)
以及相应的分类决策函数:
![](https://i-blog.csdnimg.cn/blog_migrate/329d43eb1e413fba21045bd9c755127f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ea9a2d81b5b44bd195fe6c3dc5e24b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3a13c9aa1df53226801f4440689d22b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ed0afb572bef457b579d4cf61879e9b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/40827a6398fcec6b551562eca003ceb9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/20b8f7fe76a652aa611d756382773389.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5946ac4ddf024c90425c78bbce6ceae4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/23125642815cd60042ca5d9b58bf9729.png)
![](https://i-blog.csdnimg.cn/blog_migrate/c092d008f8086733dc7fd9d30f9131f9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ea9a2d81b5b44bd195fe6c3dc5e24b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1bf1b29f2cbe7158ef1bbfcdf0d6bb10.png)
![](https://i-blog.csdnimg.cn/blog_migrate/91cbba5373cdb9b0ea69436b86c37b9e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3a13c9aa1df53226801f4440689d22b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6f76ad74e4e3523c5effb945aaa077a6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/46a7d2fffb622460eb528cb0993dca8e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ed0afb572bef457b579d4cf61879e9b.png)
有如下图所示的分离超平面,哪一个超平面的分类效果更好呢?
直观上,超平面
的分类效果更好一些。将距离分离超平面最近的两个不同类别的样本点称为支持向量(support vector)的,构成了两条平行于分离超平面的长带,二者之间的距离称之为margin。显然,margin更大,则分类正确的确信度更高(与超平面的距离表示分类的确信度,距离越远则分类正确的确信度越高)。通过计算容易得到:
![](https://i-blog.csdnimg.cn/blog_migrate/a41d925578911827223e58aa2d055639.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0a6f93171a2add28afda019bd506c0d8.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e9cebed62e32535ffe4be3f3c21f7ef5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/23125642815cd60042ca5d9b58bf9729.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5946ac4ddf024c90425c78bbce6ceae4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/c092d008f8086733dc7fd9d30f9131f9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/40827a6398fcec6b551562eca003ceb9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/14dfee35b05e4e5a4f35539d54abc9a9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3cd5a7db159c1dafc3b4c798aae21b10.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1bf1b29f2cbe7158ef1bbfcdf0d6bb10.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3cd5a7db159c1dafc3b4c798aae21b10.png)
从上图中可观察到:margin以外的样本点对于确定分离超平面没有贡献,换句话说,SVM是有很重要的训练样本(支持向量)所确定的。至此,SVM分类问题可描述为在全部分类正确的情况下,最大化
![](https://i-blog.csdnimg.cn/blog_migrate/5afff27d9a807ba051985c56928d4f50.png)
![](https://i-blog.csdnimg.cn/blog_migrate/83b735baca293efb604041e83fafa479.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3cd5a7db159c1dafc3b4c798aae21b10.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1bf1b29f2cbe7158ef1bbfcdf0d6bb10.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3cd5a7db159c1dafc3b4c798aae21b10.png)
![](https://i-blog.csdnimg.cn/blog_migrate/83b735baca293efb604041e83fafa479.png)
);线性分类的约束最优化问题:
![](https://i-blog.csdnimg.cn/blog_migrate/ca5819d9b75fb063080a55d62772bd52.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fc1c8ca6a14142f3d889c99fb3fb57ae.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bdabdbfc299a1ff07aa1b96b2ea546d2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bc7cc9a8ecfef1dad09de2a597ad522a.png)
![](https://i-blog.csdnimg.cn/blog_migrate/65173110f4196daa5949a1233fd64ca6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/de217b51d6eeee77f4df199d709f446c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e2918013f651930d37d12461f46ef48e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/14dfee35b05e4e5a4f35539d54abc9a9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bbd8a060df0534aaa474a54c90dab235.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1bf1b29f2cbe7158ef1bbfcdf0d6bb10.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bbd8a060df0534aaa474a54c90dab235.png)
![](https://i-blog.csdnimg.cn/blog_migrate/83b735baca293efb604041e83fafa479.png)
![](https://i-blog.csdnimg.cn/blog_migrate/20b8f7fe76a652aa611d756382773389.png)
![](https://i-blog.csdnimg.cn/blog_migrate/c07423d870c1baa0abbb30064948b4c0.png)
![](https://i-blog.csdnimg.cn/blog_migrate/df17f08a61522e75bb7b78c6cac59d5d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/c07423d870c1baa0abbb30064948b4c0.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6ed70225f2c1f1f23a2943d0af421ad2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ea9a2d81b5b44bd195fe6c3dc5e24b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1bf1b29f2cbe7158ef1bbfcdf0d6bb10.png)
![](https://i-blog.csdnimg.cn/blog_migrate/91cbba5373cdb9b0ea69436b86c37b9e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3a13c9aa1df53226801f4440689d22b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6f76ad74e4e3523c5effb945aaa077a6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/46a7d2fffb622460eb528cb0993dca8e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ed0afb572bef457b579d4cf61879e9b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3b6f9759a7abbac935c652e71dc068f2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e2918013f651930d37d12461f46ef48e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/57a1cf098615e85e35f23760d0096bac.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9526014231cb300f9a18b572ec0a0cf5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ea9a2d81b5b44bd195fe6c3dc5e24b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e2918013f651930d37d12461f46ef48e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ed0afb572bef457b579d4cf61879e9b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ea9a2d81b5b44bd195fe6c3dc5e24b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/14dfee35b05e4e5a4f35539d54abc9a9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ed0afb572bef457b579d4cf61879e9b.png)
对每一个不等式约束引进拉格朗日乘子(Lagrange multiplier)
;构造拉格朗日函数(Lagrange function):
![](https://i-blog.csdnimg.cn/blog_migrate/5fc13cb22af6a54e1bf88db96219fc8d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ea9a2d81b5b44bd195fe6c3dc5e24b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1bf1b29f2cbe7158ef1bbfcdf0d6bb10.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4705aa4ed4b67dc207476fabd1c4cc78.png)
![](https://i-blog.csdnimg.cn/blog_migrate/46a7d2fffb622460eb528cb0993dca8e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4705aa4ed4b67dc207476fabd1c4cc78.png)
![](https://i-blog.csdnimg.cn/blog_migrate/180fa0e6afc83453244f14091aeb3771.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ed0afb572bef457b579d4cf61879e9b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/40827a6398fcec6b551562eca003ceb9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e2918013f651930d37d12461f46ef48e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/14dfee35b05e4e5a4f35539d54abc9a9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bbd8a060df0534aaa474a54c90dab235.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1bf1b29f2cbe7158ef1bbfcdf0d6bb10.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bbd8a060df0534aaa474a54c90dab235.png)
![](https://i-blog.csdnimg.cn/blog_migrate/83b735baca293efb604041e83fafa479.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3b6f9759a7abbac935c652e71dc068f2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1d353f4eb3430d1be8f5ab01444de2e6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/a9fb567af23e1218c40f38e071be14d5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5afff27d9a807ba051985c56928d4f50.png)
![](https://i-blog.csdnimg.cn/blog_migrate/257017bfa980ccba369d0f76ecdb90a7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/180fa0e6afc83453244f14091aeb3771.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6bd562a8a8a936339a0a125e6b4c0c53.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6ed70225f2c1f1f23a2943d0af421ad2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ea9a2d81b5b44bd195fe6c3dc5e24b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1bf1b29f2cbe7158ef1bbfcdf0d6bb10.png)
![](https://i-blog.csdnimg.cn/blog_migrate/91cbba5373cdb9b0ea69436b86c37b9e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3a13c9aa1df53226801f4440689d22b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6f76ad74e4e3523c5effb945aaa077a6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/46a7d2fffb622460eb528cb0993dca8e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ed0afb572bef457b579d4cf61879e9b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3b6f9759a7abbac935c652e71dc068f2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e2918013f651930d37d12461f46ef48e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b283dda68754c3de4bff12d9bae674a8.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ea9a2d81b5b44bd195fe6c3dc5e24b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8abf2272e4fb5fbcabd85544aab70113.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ed0afb572bef457b579d4cf61879e9b.png)
根据拉格朗日对偶性,原始的约束最优化问题可等价于极大极小的对偶问题:
![](https://i-blog.csdnimg.cn/blog_migrate/ca5819d9b75fb063080a55d62772bd52.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bdb34b9f7e952c2ff426b8a865d932a2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6a5d7587c2bba2ff64838bfdf0b67e37.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3380be97e60633593d2def0456a81b52.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ca5819d9b75fb063080a55d62772bd52.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fc1c8ca6a14142f3d889c99fb3fb57ae.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bdabdbfc299a1ff07aa1b96b2ea546d2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bc7cc9a8ecfef1dad09de2a597ad522a.png)
![](https://i-blog.csdnimg.cn/blog_migrate/65173110f4196daa5949a1233fd64ca6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/de217b51d6eeee77f4df199d709f446c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5fc13cb22af6a54e1bf88db96219fc8d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ea9a2d81b5b44bd195fe6c3dc5e24b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1bf1b29f2cbe7158ef1bbfcdf0d6bb10.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4705aa4ed4b67dc207476fabd1c4cc78.png)
![](https://i-blog.csdnimg.cn/blog_migrate/46a7d2fffb622460eb528cb0993dca8e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4705aa4ed4b67dc207476fabd1c4cc78.png)
![](https://i-blog.csdnimg.cn/blog_migrate/180fa0e6afc83453244f14091aeb3771.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ed0afb572bef457b579d4cf61879e9b.png)
将
![](https://i-blog.csdnimg.cn/blog_migrate/1bf1b29f2cbe7158ef1bbfcdf0d6bb10.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4705aa4ed4b67dc207476fabd1c4cc78.png)
![](https://i-blog.csdnimg.cn/blog_migrate/46a7d2fffb622460eb528cb0993dca8e.png)
求偏导并令其等于0,则
![](https://i-blog.csdnimg.cn/blog_migrate/b8f946c417018a21ea2c5fd4105bcd28.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5fc13cb22af6a54e1bf88db96219fc8d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b8f946c417018a21ea2c5fd4105bcd28.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1bf1b29f2cbe7158ef1bbfcdf0d6bb10.png)
![](https://i-blog.csdnimg.cn/blog_migrate/40827a6398fcec6b551562eca003ceb9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1bf1b29f2cbe7158ef1bbfcdf0d6bb10.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3b6f9759a7abbac935c652e71dc068f2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1d353f4eb3430d1be8f5ab01444de2e6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/a9fb567af23e1218c40f38e071be14d5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5afff27d9a807ba051985c56928d4f50.png)
![](https://i-blog.csdnimg.cn/blog_migrate/257017bfa980ccba369d0f76ecdb90a7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/180fa0e6afc83453244f14091aeb3771.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6ed70225f2c1f1f23a2943d0af421ad2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3a13c9aa1df53226801f4440689d22b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/40827a6398fcec6b551562eca003ceb9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9526014231cb300f9a18b572ec0a0cf5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d8d0c1d317b3c98667a978c084f29c81.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1bf1b29f2cbe7158ef1bbfcdf0d6bb10.png)
![](https://i-blog.csdnimg.cn/blog_migrate/40827a6398fcec6b551562eca003ceb9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1d353f4eb3430d1be8f5ab01444de2e6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/a9fb567af23e1218c40f38e071be14d5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5afff27d9a807ba051985c56928d4f50.png)
![](https://i-blog.csdnimg.cn/blog_migrate/257017bfa980ccba369d0f76ecdb90a7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/180fa0e6afc83453244f14091aeb3771.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6ed70225f2c1f1f23a2943d0af421ad2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3a13c9aa1df53226801f4440689d22b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b8f946c417018a21ea2c5fd4105bcd28.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5fc13cb22af6a54e1bf88db96219fc8d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b8f946c417018a21ea2c5fd4105bcd28.png)
![](https://i-blog.csdnimg.cn/blog_migrate/46a7d2fffb622460eb528cb0993dca8e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/40827a6398fcec6b551562eca003ceb9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1d353f4eb3430d1be8f5ab01444de2e6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/a9fb567af23e1218c40f38e071be14d5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5afff27d9a807ba051985c56928d4f50.png)
![](https://i-blog.csdnimg.cn/blog_migrate/257017bfa980ccba369d0f76ecdb90a7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/180fa0e6afc83453244f14091aeb3771.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6ed70225f2c1f1f23a2943d0af421ad2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/40827a6398fcec6b551562eca003ceb9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9526014231cb300f9a18b572ec0a0cf5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d8d0c1d317b3c98667a978c084f29c81.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1d353f4eb3430d1be8f5ab01444de2e6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/a9fb567af23e1218c40f38e071be14d5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5afff27d9a807ba051985c56928d4f50.png)
![](https://i-blog.csdnimg.cn/blog_migrate/257017bfa980ccba369d0f76ecdb90a7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/180fa0e6afc83453244f14091aeb3771.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6ed70225f2c1f1f23a2943d0af421ad2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/40827a6398fcec6b551562eca003ceb9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9526014231cb300f9a18b572ec0a0cf5.png)
中,对偶问题转为
![](https://i-blog.csdnimg.cn/blog_migrate/ca5819d9b75fb063080a55d62772bd52.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bdb34b9f7e952c2ff426b8a865d932a2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6a5d7587c2bba2ff64838bfdf0b67e37.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3380be97e60633593d2def0456a81b52.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3b6f9759a7abbac935c652e71dc068f2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e2918013f651930d37d12461f46ef48e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/14dfee35b05e4e5a4f35539d54abc9a9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1d353f4eb3430d1be8f5ab01444de2e6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/a9fb567af23e1218c40f38e071be14d5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5afff27d9a807ba051985c56928d4f50.png)
![](https://i-blog.csdnimg.cn/blog_migrate/257017bfa980ccba369d0f76ecdb90a7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1d353f4eb3430d1be8f5ab01444de2e6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/2b286d3a476809cb9642b1aecf297f14.png)
![](https://i-blog.csdnimg.cn/blog_migrate/a9fb567af23e1218c40f38e071be14d5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5afff27d9a807ba051985c56928d4f50.png)
![](https://i-blog.csdnimg.cn/blog_migrate/257017bfa980ccba369d0f76ecdb90a7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/180fa0e6afc83453244f14091aeb3771.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/180fa0e6afc83453244f14091aeb3771.png)
![](https://i-blog.csdnimg.cn/blog_migrate/2b286d3a476809cb9642b1aecf297f14.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6ed70225f2c1f1f23a2943d0af421ad2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6ed70225f2c1f1f23a2943d0af421ad2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/2b286d3a476809cb9642b1aecf297f14.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ea9a2d81b5b44bd195fe6c3dc5e24b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3a13c9aa1df53226801f4440689d22b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/91cbba5373cdb9b0ea69436b86c37b9e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3a13c9aa1df53226801f4440689d22b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/2b286d3a476809cb9642b1aecf297f14.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ed0afb572bef457b579d4cf61879e9b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6f76ad74e4e3523c5effb945aaa077a6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1d353f4eb3430d1be8f5ab01444de2e6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/a9fb567af23e1218c40f38e071be14d5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5afff27d9a807ba051985c56928d4f50.png)
![](https://i-blog.csdnimg.cn/blog_migrate/257017bfa980ccba369d0f76ecdb90a7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/180fa0e6afc83453244f14091aeb3771.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
等价于最优化问题:
![](https://i-blog.csdnimg.cn/blog_migrate/ca5819d9b75fb063080a55d62772bd52.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fc1c8ca6a14142f3d889c99fb3fb57ae.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bdabdbfc299a1ff07aa1b96b2ea546d2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3380be97e60633593d2def0456a81b52.png)
![](https://i-blog.csdnimg.cn/blog_migrate/20b8f7fe76a652aa611d756382773389.png)
![](https://i-blog.csdnimg.cn/blog_migrate/c07423d870c1baa0abbb30064948b4c0.png)
![](https://i-blog.csdnimg.cn/blog_migrate/df17f08a61522e75bb7b78c6cac59d5d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/c07423d870c1baa0abbb30064948b4c0.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e2918013f651930d37d12461f46ef48e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/14dfee35b05e4e5a4f35539d54abc9a9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1d353f4eb3430d1be8f5ab01444de2e6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/a9fb567af23e1218c40f38e071be14d5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5afff27d9a807ba051985c56928d4f50.png)
![](https://i-blog.csdnimg.cn/blog_migrate/257017bfa980ccba369d0f76ecdb90a7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1d353f4eb3430d1be8f5ab01444de2e6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/2b286d3a476809cb9642b1aecf297f14.png)
![](https://i-blog.csdnimg.cn/blog_migrate/a9fb567af23e1218c40f38e071be14d5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5afff27d9a807ba051985c56928d4f50.png)
![](https://i-blog.csdnimg.cn/blog_migrate/257017bfa980ccba369d0f76ecdb90a7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/180fa0e6afc83453244f14091aeb3771.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/180fa0e6afc83453244f14091aeb3771.png)
![](https://i-blog.csdnimg.cn/blog_migrate/2b286d3a476809cb9642b1aecf297f14.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6ed70225f2c1f1f23a2943d0af421ad2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6ed70225f2c1f1f23a2943d0af421ad2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/2b286d3a476809cb9642b1aecf297f14.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ea9a2d81b5b44bd195fe6c3dc5e24b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3a13c9aa1df53226801f4440689d22b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/91cbba5373cdb9b0ea69436b86c37b9e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3a13c9aa1df53226801f4440689d22b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/2b286d3a476809cb9642b1aecf297f14.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ed0afb572bef457b579d4cf61879e9b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3b6f9759a7abbac935c652e71dc068f2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1d353f4eb3430d1be8f5ab01444de2e6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/a9fb567af23e1218c40f38e071be14d5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5afff27d9a807ba051985c56928d4f50.png)
![](https://i-blog.csdnimg.cn/blog_migrate/257017bfa980ccba369d0f76ecdb90a7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/180fa0e6afc83453244f14091aeb3771.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1d353f4eb3430d1be8f5ab01444de2e6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/a9fb567af23e1218c40f38e071be14d5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5afff27d9a807ba051985c56928d4f50.png)
![](https://i-blog.csdnimg.cn/blog_migrate/257017bfa980ccba369d0f76ecdb90a7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/180fa0e6afc83453244f14091aeb3771.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6ed70225f2c1f1f23a2943d0af421ad2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/40827a6398fcec6b551562eca003ceb9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9526014231cb300f9a18b572ec0a0cf5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/180fa0e6afc83453244f14091aeb3771.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/57a1cf098615e85e35f23760d0096bac.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9526014231cb300f9a18b572ec0a0cf5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4705aa4ed4b67dc207476fabd1c4cc78.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5946ac4ddf024c90425c78bbce6ceae4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/40827a6398fcec6b551562eca003ceb9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e2918013f651930d37d12461f46ef48e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4705aa4ed4b67dc207476fabd1c4cc78.png)
![](https://i-blog.csdnimg.cn/blog_migrate/14dfee35b05e4e5a4f35539d54abc9a9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4705aa4ed4b67dc207476fabd1c4cc78.png)
![](https://i-blog.csdnimg.cn/blog_migrate/57df00824fa8929374afebd739d9e0fa.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4705aa4ed4b67dc207476fabd1c4cc78.png)
![](https://i-blog.csdnimg.cn/blog_migrate/40ffc1d08cd82199e06060768dfd9a03.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ea9a2d81b5b44bd195fe6c3dc5e24b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7bfc97dbbdccbcac5621ef7608906afd.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ed0afb572bef457b579d4cf61879e9b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ea9a2d81b5b44bd195fe6c3dc5e24b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d026b0eee8e48fd389eb8af6e4813405.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ed0afb572bef457b579d4cf61879e9b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ea9a2d81b5b44bd195fe6c3dc5e24b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/df0a4dd3909b42076fea1bb7b2d04641.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ed0afb572bef457b579d4cf61879e9b.png)
线性可分是理想情形,大多数情况下,由于噪声或特异点等各种原因,训练样本是线性不可分的。因此,需要更一般化的学习算法。
2. 线性不可分
,为了解决这个问题,对每个样本引入一个松弛变量![](https://i-blog.csdnimg.cn/blog_migrate/e5feff7cd092c77be9f731f08000c0f6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/57a1cf098615e85e35f23760d0096bac.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9526014231cb300f9a18b572ec0a0cf5.png)
,这样约束条件变为:
![](https://i-blog.csdnimg.cn/blog_migrate/6ed70225f2c1f1f23a2943d0af421ad2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ea9a2d81b5b44bd195fe6c3dc5e24b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1bf1b29f2cbe7158ef1bbfcdf0d6bb10.png)
![](https://i-blog.csdnimg.cn/blog_migrate/91cbba5373cdb9b0ea69436b86c37b9e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3a13c9aa1df53226801f4440689d22b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6f76ad74e4e3523c5effb945aaa077a6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/46a7d2fffb622460eb528cb0993dca8e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ed0afb572bef457b579d4cf61879e9b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/57a1cf098615e85e35f23760d0096bac.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e2918013f651930d37d12461f46ef48e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3b6f9759a7abbac935c652e71dc068f2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e5feff7cd092c77be9f731f08000c0f6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
目标函数则变为
![](https://i-blog.csdnimg.cn/blog_migrate/ca5819d9b75fb063080a55d62772bd52.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fc1c8ca6a14142f3d889c99fb3fb57ae.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bdabdbfc299a1ff07aa1b96b2ea546d2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bc7cc9a8ecfef1dad09de2a597ad522a.png)
![](https://i-blog.csdnimg.cn/blog_migrate/65173110f4196daa5949a1233fd64ca6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/de217b51d6eeee77f4df199d709f446c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/65173110f4196daa5949a1233fd64ca6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/49f9386150e9c8f2640afb40cfdbf87c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e2918013f651930d37d12461f46ef48e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/14dfee35b05e4e5a4f35539d54abc9a9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3cd5a7db159c1dafc3b4c798aae21b10.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1bf1b29f2cbe7158ef1bbfcdf0d6bb10.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3cd5a7db159c1dafc3b4c798aae21b10.png)
![](https://i-blog.csdnimg.cn/blog_migrate/83b735baca293efb604041e83fafa479.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6f76ad74e4e3523c5effb945aaa077a6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1e430f54e6908120049a97db8bdb2954.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1d353f4eb3430d1be8f5ab01444de2e6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/a9fb567af23e1218c40f38e071be14d5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5afff27d9a807ba051985c56928d4f50.png)
![](https://i-blog.csdnimg.cn/blog_migrate/257017bfa980ccba369d0f76ecdb90a7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e5feff7cd092c77be9f731f08000c0f6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
其中,
为惩罚函数,目标函数有两层含义:
- margin尽量大,
- 误分类的样本点计量少
为调节二者的参数。通过构造拉格朗日函数并求解偏导(具体推导略去),可得到等价的对偶问题:
![](https://i-blog.csdnimg.cn/blog_migrate/ca5819d9b75fb063080a55d62772bd52.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fc1c8ca6a14142f3d889c99fb3fb57ae.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bdabdbfc299a1ff07aa1b96b2ea546d2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3380be97e60633593d2def0456a81b52.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e2918013f651930d37d12461f46ef48e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/14dfee35b05e4e5a4f35539d54abc9a9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1d353f4eb3430d1be8f5ab01444de2e6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/a9fb567af23e1218c40f38e071be14d5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5afff27d9a807ba051985c56928d4f50.png)
![](https://i-blog.csdnimg.cn/blog_migrate/257017bfa980ccba369d0f76ecdb90a7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1d353f4eb3430d1be8f5ab01444de2e6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/2b286d3a476809cb9642b1aecf297f14.png)
![](https://i-blog.csdnimg.cn/blog_migrate/a9fb567af23e1218c40f38e071be14d5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5afff27d9a807ba051985c56928d4f50.png)
![](https://i-blog.csdnimg.cn/blog_migrate/257017bfa980ccba369d0f76ecdb90a7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/180fa0e6afc83453244f14091aeb3771.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/180fa0e6afc83453244f14091aeb3771.png)
![](https://i-blog.csdnimg.cn/blog_migrate/2b286d3a476809cb9642b1aecf297f14.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6ed70225f2c1f1f23a2943d0af421ad2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6ed70225f2c1f1f23a2943d0af421ad2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/2b286d3a476809cb9642b1aecf297f14.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ea9a2d81b5b44bd195fe6c3dc5e24b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3a13c9aa1df53226801f4440689d22b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/91cbba5373cdb9b0ea69436b86c37b9e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3a13c9aa1df53226801f4440689d22b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/2b286d3a476809cb9642b1aecf297f14.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ed0afb572bef457b579d4cf61879e9b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3b6f9759a7abbac935c652e71dc068f2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1d353f4eb3430d1be8f5ab01444de2e6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/a9fb567af23e1218c40f38e071be14d5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5afff27d9a807ba051985c56928d4f50.png)
![](https://i-blog.csdnimg.cn/blog_migrate/257017bfa980ccba369d0f76ecdb90a7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/180fa0e6afc83453244f14091aeb3771.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ea9a2d81b5b44bd195fe6c3dc5e24b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fe118915deb21d2baf40e4552b6ed1fb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ed0afb572bef457b579d4cf61879e9b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/20b8f7fe76a652aa611d756382773389.png)
![](https://i-blog.csdnimg.cn/blog_migrate/c07423d870c1baa0abbb30064948b4c0.png)
![](https://i-blog.csdnimg.cn/blog_migrate/df17f08a61522e75bb7b78c6cac59d5d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/c07423d870c1baa0abbb30064948b4c0.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1d353f4eb3430d1be8f5ab01444de2e6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/a9fb567af23e1218c40f38e071be14d5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5afff27d9a807ba051985c56928d4f50.png)
![](https://i-blog.csdnimg.cn/blog_migrate/257017bfa980ccba369d0f76ecdb90a7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/180fa0e6afc83453244f14091aeb3771.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6ed70225f2c1f1f23a2943d0af421ad2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/40827a6398fcec6b551562eca003ceb9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9526014231cb300f9a18b572ec0a0cf5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9526014231cb300f9a18b572ec0a0cf5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/62ab7df445ab49342c7836ed0edcf7fe.png)
![](https://i-blog.csdnimg.cn/blog_migrate/180fa0e6afc83453244f14091aeb3771.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/62ab7df445ab49342c7836ed0edcf7fe.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1e430f54e6908120049a97db8bdb2954.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4705aa4ed4b67dc207476fabd1c4cc78.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5946ac4ddf024c90425c78bbce6ceae4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/40827a6398fcec6b551562eca003ceb9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e2918013f651930d37d12461f46ef48e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4705aa4ed4b67dc207476fabd1c4cc78.png)
![](https://i-blog.csdnimg.cn/blog_migrate/14dfee35b05e4e5a4f35539d54abc9a9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4705aa4ed4b67dc207476fabd1c4cc78.png)
![](https://i-blog.csdnimg.cn/blog_migrate/57df00824fa8929374afebd739d9e0fa.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4705aa4ed4b67dc207476fabd1c4cc78.png)
![](https://i-blog.csdnimg.cn/blog_migrate/40ffc1d08cd82199e06060768dfd9a03.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ea9a2d81b5b44bd195fe6c3dc5e24b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b8c67129c02e3c6577f2a77286556b7d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ed0afb572bef457b579d4cf61879e9b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ea9a2d81b5b44bd195fe6c3dc5e24b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5e4bf9f4e026c12e75eb1e90b80619f4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ed0afb572bef457b579d4cf61879e9b.png)
与上一节中线性可分的对偶问题相比,只是约束条件
发生变化,问题求解思路与之类似。
3. 非线性
对于非线性问题,线性SVM不再适用了,需要非线性SVM来解决了。解决非线性分类问题的思路,通过空间变换
![](https://i-blog.csdnimg.cn/blog_migrate/3a13c9aa1df53226801f4440689d22b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e56265b9c90b83412961aa78bf4b3e6a.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7d78d86b462ab68c29a144aeec342fb4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ea9a2d81b5b44bd195fe6c3dc5e24b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3a13c9aa1df53226801f4440689d22b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ed0afb572bef457b579d4cf61879e9b.png)
)后实现线性可分,在下图所示的例子中,通过空间变换,将左图中的椭圆分离面变换成了右图中直线。
在SVM的等价对偶问题中的目标函数中有样本点的内积
![](https://i-blog.csdnimg.cn/blog_migrate/7d78d86b462ab68c29a144aeec342fb4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ea9a2d81b5b44bd195fe6c3dc5e24b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3a13c9aa1df53226801f4440689d22b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ed0afb572bef457b579d4cf61879e9b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/91cbba5373cdb9b0ea69436b86c37b9e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7d78d86b462ab68c29a144aeec342fb4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ea9a2d81b5b44bd195fe6c3dc5e24b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3a13c9aa1df53226801f4440689d22b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/2b286d3a476809cb9642b1aecf297f14.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ed0afb572bef457b579d4cf61879e9b.png)
,由于维数增加导致内积计算成本增加,这时核函数(kernel function)便派上用场了,将映射后的高维空间内积转换成低维空间的函数:
![](https://i-blog.csdnimg.cn/blog_migrate/742a3933753ca29822d81299f72cc844.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ea9a2d81b5b44bd195fe6c3dc5e24b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3a13c9aa1df53226801f4440689d22b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4705aa4ed4b67dc207476fabd1c4cc78.png)
![](https://i-blog.csdnimg.cn/blog_migrate/52ac678f573087fb0fa9d686594890fa.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ed0afb572bef457b579d4cf61879e9b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/40827a6398fcec6b551562eca003ceb9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7d78d86b462ab68c29a144aeec342fb4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ea9a2d81b5b44bd195fe6c3dc5e24b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3a13c9aa1df53226801f4440689d22b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ed0afb572bef457b579d4cf61879e9b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/91cbba5373cdb9b0ea69436b86c37b9e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7d78d86b462ab68c29a144aeec342fb4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ea9a2d81b5b44bd195fe6c3dc5e24b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/52ac678f573087fb0fa9d686594890fa.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ed0afb572bef457b579d4cf61879e9b.png)
中,可得非线性SVM的最优化问题:
![](https://i-blog.csdnimg.cn/blog_migrate/ca5819d9b75fb063080a55d62772bd52.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fc1c8ca6a14142f3d889c99fb3fb57ae.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bdabdbfc299a1ff07aa1b96b2ea546d2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3380be97e60633593d2def0456a81b52.png)
![](https://i-blog.csdnimg.cn/blog_migrate/20b8f7fe76a652aa611d756382773389.png)
![](https://i-blog.csdnimg.cn/blog_migrate/c07423d870c1baa0abbb30064948b4c0.png)
![](https://i-blog.csdnimg.cn/blog_migrate/df17f08a61522e75bb7b78c6cac59d5d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/c07423d870c1baa0abbb30064948b4c0.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e2918013f651930d37d12461f46ef48e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/14dfee35b05e4e5a4f35539d54abc9a9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1d353f4eb3430d1be8f5ab01444de2e6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/a9fb567af23e1218c40f38e071be14d5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5afff27d9a807ba051985c56928d4f50.png)
![](https://i-blog.csdnimg.cn/blog_migrate/257017bfa980ccba369d0f76ecdb90a7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1d353f4eb3430d1be8f5ab01444de2e6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/2b286d3a476809cb9642b1aecf297f14.png)
![](https://i-blog.csdnimg.cn/blog_migrate/a9fb567af23e1218c40f38e071be14d5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5afff27d9a807ba051985c56928d4f50.png)
![](https://i-blog.csdnimg.cn/blog_migrate/257017bfa980ccba369d0f76ecdb90a7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/180fa0e6afc83453244f14091aeb3771.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/180fa0e6afc83453244f14091aeb3771.png)
![](https://i-blog.csdnimg.cn/blog_migrate/2b286d3a476809cb9642b1aecf297f14.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6ed70225f2c1f1f23a2943d0af421ad2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6ed70225f2c1f1f23a2943d0af421ad2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/2b286d3a476809cb9642b1aecf297f14.png)
![](https://i-blog.csdnimg.cn/blog_migrate/742a3933753ca29822d81299f72cc844.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ea9a2d81b5b44bd195fe6c3dc5e24b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3a13c9aa1df53226801f4440689d22b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4705aa4ed4b67dc207476fabd1c4cc78.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3a13c9aa1df53226801f4440689d22b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/2b286d3a476809cb9642b1aecf297f14.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ed0afb572bef457b579d4cf61879e9b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3b6f9759a7abbac935c652e71dc068f2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1d353f4eb3430d1be8f5ab01444de2e6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/a9fb567af23e1218c40f38e071be14d5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5afff27d9a807ba051985c56928d4f50.png)
![](https://i-blog.csdnimg.cn/blog_migrate/257017bfa980ccba369d0f76ecdb90a7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/180fa0e6afc83453244f14091aeb3771.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1d353f4eb3430d1be8f5ab01444de2e6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/a9fb567af23e1218c40f38e071be14d5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5afff27d9a807ba051985c56928d4f50.png)
![](https://i-blog.csdnimg.cn/blog_migrate/257017bfa980ccba369d0f76ecdb90a7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/180fa0e6afc83453244f14091aeb3771.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6ed70225f2c1f1f23a2943d0af421ad2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/40827a6398fcec6b551562eca003ceb9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9526014231cb300f9a18b572ec0a0cf5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9526014231cb300f9a18b572ec0a0cf5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/62ab7df445ab49342c7836ed0edcf7fe.png)
![](https://i-blog.csdnimg.cn/blog_migrate/180fa0e6afc83453244f14091aeb3771.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5dd6ad9677a32c1c974a5401b7307d2e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/62ab7df445ab49342c7836ed0edcf7fe.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1e430f54e6908120049a97db8bdb2954.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4705aa4ed4b67dc207476fabd1c4cc78.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5946ac4ddf024c90425c78bbce6ceae4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/40827a6398fcec6b551562eca003ceb9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e2918013f651930d37d12461f46ef48e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4705aa4ed4b67dc207476fabd1c4cc78.png)
![](https://i-blog.csdnimg.cn/blog_migrate/14dfee35b05e4e5a4f35539d54abc9a9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4705aa4ed4b67dc207476fabd1c4cc78.png)
![](https://i-blog.csdnimg.cn/blog_migrate/57df00824fa8929374afebd739d9e0fa.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4705aa4ed4b67dc207476fabd1c4cc78.png)
![](https://i-blog.csdnimg.cn/blog_migrate/40ffc1d08cd82199e06060768dfd9a03.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ea9a2d81b5b44bd195fe6c3dc5e24b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e2918013f651930d37d12461f46ef48e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9526014231cb300f9a18b572ec0a0cf5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ed0afb572bef457b579d4cf61879e9b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ea9a2d81b5b44bd195fe6c3dc5e24b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e2918013f651930d37d12461f46ef48e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e2918013f651930d37d12461f46ef48e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ed0afb572bef457b579d4cf61879e9b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ea9a2d81b5b44bd195fe6c3dc5e24b4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e2918013f651930d37d12461f46ef48e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/14dfee35b05e4e5a4f35539d54abc9a9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ed0afb572bef457b579d4cf61879e9b.png)
4. 参考资料
[1] 李航,《统计学习方法》.
[2] Pang-Ning Tan, Michael Steinbach, Vipin Kumar, Introduction to Data Mining.