为什么a*算法采用哈密尔顿距离作为启发函数比不在位数为启发函数的性能要好?_高手总结：各种机器学习算法之比较，评价太到位了...

本文主要回顾下几个常用算法的适应场景及其优缺点！

机器学习算法太多了，分类、回归、聚类、推荐、图像识别领域等等，要想找到一个合适算法真的不容易，所以在实际应用中，我们一般都是采用启发式学习方式来实验。通常最开始我们都会选择大家普遍认同的算法，诸如SVM，GBDT，Adaboost，现在深度学习很火热，神经网络也是一个不错的选择。假如你在乎精度(accuracy)的话，最好的方法就是通过交叉验证(cross-validation)对各个算法一个个地进行测试，进行比较，然后调整参数确保每个算法达到最优解，最后选择最好的一个。但是如果你只是在寻找一个“足够好”的算法来解决你的问题，或者这里有些技巧可以参考，下面来分析下各个算法的优缺点，基于算法的优缺点，更易于我们去选择它。

偏差&方差

在统计学中，一个模型好坏，是根据偏差和方差来衡量的，所以我们先来普及一下偏差和方差：

• 偏差：描述的是预测值(估计值)的期望E’与真实值Y之间的差距。偏差越大，越偏离真实数据。

• 方差：描述的是预测值P的变化范围，离散程度，是预测值的方差，也就是离其期望值E的距离。方差越大，数据的分布越分散。

模型的真实误差是两者之和，如下图：

如果是小训练集，高偏差/低方差的分类器(例如，朴素贝叶斯NB)要比低偏差/高方差大分类的优势大(例如，KNN)，因为后者会过拟合。但是，随着你训练集的增长，模型对于原数据的预测能力就越好，偏差就会降低，此时低偏差/高方差分类器就会渐渐的表现其优势(因为它们有较低的渐近误差)，此时高偏差分类器此时已经不足以提供准确的模型了。

当然，你也可以认为这是生成模型(NB)与判别模型(KNN)的一个区别。

为什么说朴素贝叶斯是高偏差低方差?

以下内容引自知乎：

首先，假设你知道训练集和测试集的关系。简单来讲是我们要在训练集上学习一个模型，然后拿到测试集去用，效果好不好要根据测试集的错误率来衡量。但很多时候，我们只能假设测试集和训练集的是符合同一个数据分布的，但却拿不到真正的测试数据。这时候怎么在只看到训练错误率的情况下，去衡量测试错误率呢？

由于训练样本很少(至少不足够多)，所以通过训练集得到的模型，总不是真正正确的。(就算在训练集上正确率100%，也不能说明它刻画了真实的数据分布，要知道刻画真实的数据分布才是我们的目的，而不是只刻画训练集的有限的数据点)。而且，实际中，训练样本往往还有一定的噪音误差，所以如果太追求在训练集上的完美而采用一个很复杂的模型，会使得模型把训练集里面的误差都当成了真实的数据分布特征，从而得到错误的数据分布估计。这样的话，到了真正的测试集上就错的一塌糊涂了(这种现象叫过拟合)。但是也不能用太简单的模型，否则在数据分布比较复杂的时候，模型就不足以刻画数据分布了(体现为连在训练集上的错误率都很高，这种现象较欠拟合)。过拟合表明采用的模型比真实的数据分布更复杂，而欠拟合表示采用的模型比真实的数据分布要简单。

在统计学习框架下，大家刻画模型复杂度的时候，有这么个观点，认为Error = Bias + Variance。这里的Error大概可以理解为模型的预测错误率，是有两部分组成的，一部分是由于模型太简单而带来的估计不准确的部分(Bias)，另一部分是由于模型太复杂而带来的更大的变化空间