典型分类算法基本概念
KNN
k邻近算法,k-NearestNeighbor,kNN分类算法是分类技术中最简单的方法之一。
kNN算法的核心思想是:如果一个样本在特征空间中的k个最相邻样本中的大多数属于某一个类别,则样本也属于这个类别,并具有这个类别上样本的属性。
kNN方法在类别决策时,只与极少量的相邻样本相关。kNN方法适合类域交叉或重叠较多的代分样本集。
在决策中,参数k和距离度量十分重要,不同的选择会导致显著不同的结果。
SVM
支持向量机,SVM(Support Vector Machine),是一个有监督的学习模型,是一种对线性和非线性数据进行分类的方法,是所有知名的数据挖掘算法中最健壮、最明确的方法之一。它使用一种非线性映射,把原训练数据映射到较高的维度上,在新的维度上,它搜索最佳分离超平面,即将一个类的元组与其他类分离的决策边界。
其基本模型定义为特征空间上的间隔最大的线性分类器,其学习策略是使间隔最大化,最终转化为一个凸二次规划问题的求解。
SVM使用支持向量(基本训练元组)和边缘(由支持向量定义)发现超平面。
我们来看一下数据线性可分的情况:
我们可以找到无数多条线来分割图示的两坨数据,同时我们显然可以发现,我们要找的“线”仅和离“线”最近的个别点有关。