渣渣机器学习零碎笔记

渣渣机器学习零碎笔记

支持向量机

1、在线性可分情况下，训练数据集的样本点与分离超平面距离最近的样本点的实例称为：支持向量机

2、线性可分支持向量机：给定线性可分训练数据集，通过间隔最大为目标，求解相应的凸二次规划问题，从而学习得到的最优分离超平面，此时解是唯一的

3、算法一：
线性可分支持向量机学习算法–最大间隔法：
输入：线性可分训练数据集。输出：最大间隔分离超平面和分类决策函数。
step1:构造并求解约束最优化问题：

min 1/2||w||^2
s.t. yi(w*xi+b)-1>=0
求解最优解w,b

由此得到分离超平面：

w*x+b = 0

分类决策函数

f(x) = sign(w*x+b)

SVM的效率依赖于：核函数的选择，核参数，软间隔参数

利用核技巧时，对于给定的核，特征空间和映射函数的取法是唯一的。（错）

序列最小最优化算法（SMO）的基本思路是：如果所有变量的解都满足此最优化问题的KKT条件，那么得到解；否则，选择两个变量，固定其他变量，针对其构建一个二次规划问题，称为子问题。SMO算法在每个子问题中选择两个变量优化，其中至少一个是违反KKT条件的。

不可分的样本，通过核函数映射到新的高维特征空间，使得样本变得可分，常见的核函数有多项式，高斯和sigmoid核函数

一般地，在不知道更多信息的时候使用高斯核函数是最稳妥的，高斯函数（RBF,径向基函数）是一个映射到无穷维的函数