机器学习(十六)---机器学习算法总结（1）

监督学习

KNN算法计算测试样本与训练集的各样本的距离，按从小到大取前k个距离排序，然后选择这k个最相似数据中出现次数最多的分类作为新数据的分类。

 

朴素贝叶斯实现的是概率量化计算的模型，它的解释是通过对样本的统计，然后算出某件事A发生的概率和某件事B发生的概率之间的量化关系。

 

决策树实现的是通过选择合适维度来增加约束条件降低分类的信息熵。

 

回归模型是通过建模与拟合来确定待定系数，通过不断调整待定系数的大小来降低残差的大小，也就是降低模型预测值与训练目标值的差距。

 

SVM是通过超平面来分割空间中不同的分类向量，让它们到超平面的距离尽可能远，以此提升泛化性能。

 

集成学习是集成多个分类器并通过不断修改分类出错样本的受重视程度（权值），训练出最终的强分类器。