#Python3入门机器学习之9.支撑向量机SVM
_凡一
这个作者很懒,什么都没留下…
展开
-
Python3入门机器学习之9.5 SVM思想解决回归问题
Python3入门机器学习9.5 SVM思想解决回归问题SVM思想解决回归问题:我们要指定一个margin值,在这个margin范围里,我们期望包含进来的样本数据点越多越好。如果在这个margin范围里样本数据点越多就代表我们这个范围能够比较好的表达我们的样本数据点。在这种情况下,我们取中间的直线作为回归的结果,用它来预测其它的未知点的相应的y的值。在我们具体训练这个SVM回归问题的结果的时候,我们是对margin的范围进行指定的,所以在这里就引入了一个超参数,通常用ε来表示。ε来指定任意一根mar原创 2020-07-17 22:27:37 · 365 阅读 · 0 评论 -
Python3入门机器学习之9.4RBF核函数
Python3入门机器学习9.4 RBF核函数1.什么是高斯核函数:2.多项式特征为什么可以处理非线性的问题?添加多项式的特征使得原本线性不可分的数据变成线性可分,其实是依靠升维使得原本线性不可分的数据变成线性可分。如下图,比如原本的数据就是一维数据,很显然这组数据是线性不可分的。但是,我们添加上多项式特征的话,相当于是在升维,不但让这个数据点有一个横轴x值,还有第二个维度的值,我们假设为x的平方。如下图,这些数据点在x轴上的位置是不变的,不过在y轴上也相应的有一个取值了,这个取值就是x的原创 2020-07-17 16:53:14 · 2949 阅读 · 0 评论 -
Python3入门机器学习之9.3核函数
Python3入门机器学习9.3 核函数首先回顾一下SVM算法的本质,就是求解以下最优化问题:在求解这个最优化问题的过程中,我们需要将其变形,变成在数学上更好解的形式(不进行推导过程的介绍):在我们转变的这个式子中,对于样本数据集任意的两个向量都要进行向量间的点乘。如果我们想使用多项式特征的话,方块中的式子就变为如下:而核函数是这样的思想:有没有可能不将这两个样本点xi和xj先分别转换成xi‘ 和xj’,再做乘法,而是设置一个函数,直接对原来的样本进行数学运算,直接计算出xi‘ 和xj’。如原创 2020-07-17 15:09:27 · 1045 阅读 · 0 评论 -
Python3入门机器学习之9.2Soft Margin SVM和SVM的正则化
Python3入门机器学习9.2 Soft Margin SVM和SVM的正则化一个一般的例子,如下图,此时我们的数据是线性不可分的,hard Margin SVM无法应用。这时我们需要一个具有容错能力的SVM,这种SVM就叫做Soft Margin SVM。注意:ζ它不是一个固定的值,而是对于每一个样本数据 i 都有一个相应的 ζi 。只有ζi >= 0是不够的,如果它取正无穷,很显然对于所有的数据点都将满足这样的条件,此时容错的范围就太大了。ζ要做的事情是,希望它有一定的容错空间,但是容原创 2020-07-11 15:30:01 · 412 阅读 · 0 评论 -
Python3入门机器学习之9.1SVM及SVM背后的最优化问题
Python3入门机器学习9.1 SVM及SVM背后的最优化问题1.什么是SVM(Support Vector Machine)?找到一个决策边界,这个决策边界不仅要很好的将训练数据集的样本做很好的划分,同时泛化能力还要好。这个决策边界离我们的分类样本都要尽可能的远,如上图所示,最近的三个点(红、红、蓝)离决策边界(中间的线)要尽可能的大。线性可分:对于所有的样本点来说,首先要存在一根直线或者一个平面可以将这些点划分。如果解决的是线性可分的问题,这样的算法通常称之为“Hard Margin SV原创 2020-07-11 14:50:29 · 273 阅读 · 0 评论