机器学习的统计方法解释

统计学习方法三要素

机器学习实际上用到了很多统计学的知识。按Tom Mitchell的话说，对于某类任务T和性能度量P，如果计算机程序在T上以P衡量的性能随着经验E而自我完善，那么就称这个计算机程序从经验E学习。那么计算机如何通过经验E完善自我呢？答案就是统计学习的方法。

统计学习从数据出发，提取数据的特征，抽象出数据的模型，最后用构建的模型对未知进行预测。统计学习由三要素构成，可以表示为

方法=模型+策略+算法

1 模型

统计学习首先要考虑的是学习什么样的模型。在监督学习中，模型分为条件概率分布和决策函数。条件概率分布是指通过计算各结果出现的概率，选出最大概率的那一个进行预测，决策函数是通过数据的特征一步步判断，最终给出样本应该属于的分类。

2 策略

有了模型之后，我们需要找出一种准则来使模型优化，以便能更好的进行预测。损失函数度量模型预测的好坏，它实际上是真实值和我们预测值之间的不同种定义的差值，比如0-1损失函数、平方损失函数、绝对损失函数等。损失函数值越小，意味着模型越好，预测越精准。所以我们的目标就是选择模型f(x)关于联合分布P(x,y)的平均意义下的损失最小化，即期望风险最小。由于期望风险难以求得，所以我们选择经验风险（模型关于训练样本集的平均损失）代替。同时，为了防止过拟合，我们引入结构风险最小化（正则化），加入正则化项来惩罚模型的复杂度。综上，我们的最终目标就是结构风险函数的最优化问题。

3 算法

算法是模型中具体的计算方法，也就是说我们怎样使得模型结构风险函数最小化，这里通常会用梯度下降算法，拟牛顿法等，方法是每一步更新参数都使损失函数减小，也就是朝着正确的方向进行，最终找到最优解。

参考资料：统计学习方法（李航）