机器学习读书笔记之7 - 分类方法梳理

        在提取特征以后，如何根据这些特征判断，称之为分类，解决分类问题的方法很多，常用分类方法主要包括：KNN、支持向量机（SVM）、贝叶斯、决策树、人工神经网络等；另外还有用于组合单一分类方法的集成学习算法，如Bagging和Boosting等。

        在介绍具体分类方法之前，先来明确两个概念，过拟合（OverFit）与欠拟合（UnderFit），这是在分类器训练，包括神经网络训练中都会遇到的问题。

        过拟合 一般是训练了一个分类器，对于训练及测试样本分类近似100%，但实际分类效果却很差，究其原因在于也许数据本身更符合二次特征，由于噪声导致采用更高次函数模拟，或者参数迭代次数过多导致，解决方案是选择合适的参数个数、交叉样本验证或者设置一个有效的停止机制。

        欠拟合 一般是指分类器本身的训练不到位，或者说无法收敛到一个比较好的极值点，产生的主要原因在于样本的数量或者说可分性不够。

•   KNN

       K-近邻（K-NearestNeighbor）算法是最简单的一种分类算法，将所有样本作为分类依据，对于一个新的数据，计算与其距离最近的K个邻居，根据K个样本的标签进行投票，得到其分类类别。

       不同的K值会影响对应三角形的分类，如上图所示，当K=3时，类别判定为圆形，当K=5时，判定为矩形。<