机器学习各种算法的特点归纳

1.感知机

• 适用问题：二分类
• 模型特点：超平面
• 模型类型：判别模型
• 学习策略：极小化误分类点到超平面的距离
• 损失函数：误分点到超平面的距离
• 学习算法：随机梯度下降

2.k邻近法

• 适用问题：多类分类，回归
• 模型特点：特征空间，样本点
• 模型类型：判别模型
• 学习策略：-
• 损失函数：-
• 学习算法：-

优点：

• 简单、有效。
• 重新训练的代价较低（类别体系的变化和训练集的变化）
• 计算时间和空间O(n)，线性于训练集的规模
• 由于KNN方法主要靠周围有限的邻近的样本，而不是靠判别类域的方法来确定所属类别的，因此对于类域的交叉或重叠较多的待分样本集来说，KNN方法较其他方法更为适合。
• 对数据没有假设，准确度高，对outlier不敏感；
• 该算法比较适用于样本容量比较大的类域的自动分类，而那些样本容量较小的类域采用这种算法比较容易产生误分。

缺点

• KNN是懒散学习（预测时才训练），一些积极学习的算法要快很多。
• 类别评分不是规格化的（不像其他概率评分）
• 样本不平衡时，如一个类的样本容量很大，而其他类样本容量很小时，有可能导致输入一个新样本时，该样本的K个邻居中大容量类的样本占多数。可采用权值法（和该样本距离小的邻居权值大）来改进。
• 计算量较大。目前常用解决方法是事先对已知样本点进行剪辑，事先去除对分类作用不大的样本。

3.朴素贝叶斯

• 适用问题：多类分类
• 模型特点：特征与类别的联合概率分布，条件独立假设
• 模型类型：生成模型
• 学习策略：极大似然估计，极大后验概率估计
• 损失函数：对数似然损失
• 学习算法：概率计算公式，EM算法

优点

<