SVM一种监督学习算法
逻辑回归图像
逻辑回归的代价函数
1.每一个(x,y)的代价函数都会对总的代价函数有影响
正则化逻辑回归代价函数公式及图像
通过设置不同的兰达值,权衡要在多大程度上适应训练集(最小化A),去保证正则化参数足够小
支持向量机SVM的代价函数
在支持向量机的西塔转置x对应于不同结果的合理取值
让正则化参数C很大,这样西塔转置x就可以比较小了
支持向量机的距离(大间距分类器)
当正则化参数C很大时,会得到紫红色的分界线。当正则化参数C不那么大时,会得到黑色的分界线(更合理)。
大间隔分类器
支持向量机产生大间距的原因
高斯核函数:有不同相似度度量的函数
1.这三个点称为标记,其作用是为了方便定义新特征
2.f1定义为一种相似度的度量,即训练样本和第一个标记的的相似度,称为核函数,即高斯核函数,记作K(x,l)
核函数取值
1.当样本x和标记很近时,取值为1;当样本和标记很远时,取值为0。
2.给定一个样本x,可以通过标记训练出三个特征f1,f2,f3。
3.f衡量了样本和标记点之间的距离,取值在0到1之间。
参数对高斯核函数取值大小的影响
1.西格玛的平方(底下那个)是高斯核函数的参数
2.参数越小,山峰越陡;参数越大,山峰越缓。
标记点和核函数训练决策边界,定义新的特征变量
1.根据选值,若假设大于0,则为1,若假设小于0,则为0,来划分决策边界
2.通过标记点和核函数的取值来定义新的特征变量,从而训练复杂的非线性边界
一个简便的选定标记点的方法
将标记点选定在样本之前所在的位置
支持向量机的学习算法
利用核函数支持向量机的算法
低偏差高方差为过拟合,高偏差低方差为过拟合
没有核参数的内核函数称为线性内核函数
当特征数量和样本数据不同时逻辑回归和SVM算法性能的区别