机器学习中的算法支持向量机

原创文章,如需转载请保留出处
本博客为唐宇迪老师python数据分析与机器学习实战课程学习笔记

一.简介
1.1 定义
支持向量机（support vector machines）是一种二分类模型，它的目的是寻找一个超平面来对样本进行分割，分割的原则是间隔最大化，最终转化为一个凸二次规划问题来求解。由简至繁的模型包括：

• 当训练样本线性可分时，通过硬间隔最大化，学习一个线性可分支持向量机；
• 当训练样本近似线性可分时，通过软间隔最大化，学习一个线性支持向量机；
• 当训练样本线性不可分时，通过核技巧和软间隔最大化，学习一个非线性支持向量机；

1.2 理解

• 要解决的问题：什么样的决策边界才是最好的呢？
• 特征数据本身如何就很难分，怎么办呢？
• 计算复杂度怎么样？能实际应用吗？
• 目标：基于上述问题对SVM进行推导

1.3 决策边界
决策边界：选出来离雷区最远的（雷区就是边界上的点，要Large Margin）

二.距离与数据的定义
2.1 距离的计算