偏差和方差

高方差的算法，如KNN，KNN算法对数据特别敏感，KNN每次都去找离被预测样本最近的几个已知分类的样本，通过这几个样本的投票进行类别确认，如果这几个样本的标签大部分是错误的，则预测结果就不准确。

非参数学习通常是高方差算法，因为这类算法不对数据进行任何假设，只能根据训练数据进行预测，对训练数据的准确性依赖较高。

高偏差的算法，如线性回归。

参数学习通常是高偏差算法，对数据具有极强的假设。一个抛物线形状的数据集，错误的被假设为线性的，这样就会产生较高的偏差。

大多数算法具有可以调整偏差和方差的参数，如KNN中的k，线性回归中使用多项式回归。

偏差和方差通常是矛盾的，降低偏差会提高方差，降低方差会提高偏差。

解决高方差的主要方法：降低模型复杂度、减少数据维度、增加样本数、使用验证集、模型正则化。