FUCCKL的博客

1 认识向量机支持向量机是处理数据分类问题，目的是学会一个二分类的函数模型，属于监督式学习的方法，被广泛应用于统计分类和回归分析。通过建立一个超平面对样本数据进行分类，超平面涉及到凸优化及核函数的应用。2 线性分类假设数据样本集是线性可分，即存在一个超平面将其分成两类。以下推导的过程都是基于线性可分，非线性分类是在线性分类加上一个松弛因子，下面开始线性分类的推导。2.1 线性分类的标号为...

在上一节支持向量机公式推导中，我们有一些公式只是给出了结果，却没有解释如何得来的，这一节我们将探讨在KKT条件下如何将原始问题转为对偶问题。1、KKT条件对于下图所示的不等式约束优化问题，其KKT条件如以下形式：KKT条件是解决最优化问题的时用到的一种方法。我们这里提到的最优化问题通常是指对于给定的某一函数，求其在指定作用域上的全局最小值。下面我们开始探讨。2、向对偶问题转化上一节...

在前两节中，我们探讨了线性可分情况下如何将求解分类函数问题转化为求最大分类间隔问题，再转化为凸优化问题。再基于强对偶性，将凸优化问题转化为对偶问题，并推导出KKT条件。在求解对偶问题的过程中，将w,b转化为对对偶变量a的求解，下一节我们将探讨如何用SMO算法求解a。但是在讲解SMO算法之前，我们将在本节中探讨SVM的精髓所在——核函数。...

当我们对数据进行处理的时候，不论是分类还是回归，我们都必须考虑某些影响因素，比如噪声、缺省值、异常点等。我们要尽可能使我们的算法或模型对这些因素有很好的鲁棒性。在上一节中，我们探讨了核函数使SVM对非线性情况也能处理。虽然通过映射φ(x)将原始数据映射到高维空间之后，能够线性分隔的概率大大增加，但是对于某些情况还是很难处理。当我们数据有异常点的时候，对于这种偏离正常位置很远的数据点，我们也称之...