数据挖掘学习日记5·ClassAdvanced入门

典型分类算法基本概念

KNN

k邻近算法，k-NearestNeighbor，kNN分类算法是分类技术中最简单的方法之一。

kNN算法的核心思想是：如果一个样本在特征空间中的k个最相邻样本中的大多数属于某一个类别，则样本也属于这个类别，并具有这个类别上样本的属性。

kNN方法在类别决策时，只与极少量的相邻样本相关。kNN方法适合类域交叉或重叠较多的代分样本集。

在决策中，参数k和距离度量十分重要，不同的选择会导致显著不同的结果。

>>学习教程 机器学习实战教程（一）：k-近邻算法

SVM

支持向量机，SVM(Support Vector Machine)，是一个有监督的学习模型，是一种对线性和非线性数据进行分类的方法，是所有知名的数据挖掘算法中最健壮、最明确的方法之一。它使用一种非线性映射，把原训练数据映射到较高的维度上，在新的维度上，它搜索最佳分离超平面，即将一个类的元组与其他类分离的决策边界。

其基本模型定义为特征空间上的间隔最大的线性分类器，其学习策略是使间隔最大化，最终转化为一个凸二次规划问题的求解。

SVM使用支持向量（基本训练元组）和边缘（由支持向量定义）发现超平面。

我们来看一下数据线性可分的情况：

我们可以找到无数多条线来分割图示的两坨数据，同时我们显然可以发现，我们要找的“线”仅和离“线”最近的个别点有关。

>>学习教程 机器学习实战教程（八）：支持向量机原理篇之手撕线性SVM

>>学习教程 机器学习实战教程（九）：支持向量机实战篇之再撕非线性SVM