支持向量机（SVM）

SVM一种监督学习算法

逻辑回归图像

 逻辑回归的代价函数  

1.每一个（x,y）的代价函数都会对总的代价函数有影响

 

正则化逻辑回归代价函数公式及图像

通过设置不同的兰达值，权衡要在多大程度上适应训练集（最小化A），去保证正则化参数足够小 

支持向量机SVM的代价函数

在支持向量机的西塔转置x对应于不同结果的合理取值 

让正则化参数C很大，这样西塔转置x就可以比较小了 

支持向量机的距离（大间距分类器）

当正则化参数C很大时，会得到紫红色的分界线。当正则化参数C不那么大时，会得到黑色的分界线（更合理）。

大间隔分类器

支持向量机产生大间距的原因

高斯核函数：有不同相似度度量的函数

1.这三个点称为标记，其作用是为了方便定义新特征

2.f1定义为一种相似度的度量，即训练样本和第一个标记的的相似度，称为核函数，即高斯核函数，记作K（x,l）

核函数取值

 

 1.当样本x和标记很近时，取值为1；当样本和标记很远时，取值为0。

2.给定一个样本x，可以通过标记训练出三个特征f1,f2,f3。

3.f衡量了样本和标记点之间的距离，取值在0到1之间。

参数对高斯核函数取值大小的影响 

 

1.西格玛的平方（底下那个）是高斯核函数的参数

2.参数越小，山峰越陡；参数越大，山峰越缓。

 

标记点和核函数训练决策边界，定义新的特征变量

 

1.根据选值，若假设大于0，则为1，若假设小于0，则为0，来划分决策边界

2.通过标记点和核函数的取值来定义新的特征变量，从而训练复杂的非线性边界 

 

一个简便的选定标记点的方法

 

将标记点选定在样本之前所在的位置 

 

 

 

 

 

 

 

支持向量机的学习算法 

 

 

 

利用核函数支持向量机的算法

 

低偏差高方差为过拟合，高偏差低方差为过拟合 

 

 

没有核参数的内核函数称为线性内核函数 

 

 

 

 

当特征数量和样本数据不同时逻辑回归和SVM算法性能的区别