faltas的博客

实际在选择模型的时候，随着模型复杂度的增加，模型的偏差bias(x)越来越小，而方差var(x)越来越大，我们需要找的，就是某一个时刻，模型的方差和偏差值之和达到最小，此时，可以仍未说模型性能在误差及泛化能力方面达到最优。是个常量，优化的最终目的是降低模型的方差和偏差，方差越小，说明不同的采样分布D下，模型的泛化能力大致相当，从侧面反映了模型没有发生过你和，偏差越小，说明模型对样本预测的越准，模型的拟合能力会越好。是其在D上的优化结果，由于D是随机采样得到的任意一个分布，所以。也是随机变量，我们定义。

SVM

支持向量机

KNN

最大熵模型

决策树

朴素贝叶斯

决策树

评价指标

omega和b分别表示待学习的权重和偏置，直观上，权重omega的各个分量反应了每个特征变量的重要程度，权重越大，对应的随机变量的重要程度越大，反之越小，线性回归的目标是求解权重向量omega和偏置值b，使得f(x)尽可能的接近y，最基本的方法是最小二乘法，最小二乘法是一种不带条件的最优化问题，其目标是让整个样本集合上的预测值和真实值之间的欧式距离之和最小。和x是线性关系，这个样子我们就可以进行线性回归，这样的回归叫做广义回归，实际场景中，就是这个函数关系G最难选择，其他的到都不怎么难。

机器学习