统计学习

统计学习数据分为由连续变量和离散变量表示的类型，统计学习由监督学习，非监督学习，半监督学习和强化学习组成。

统计学习方法的三要素：模型，策略和算法。

监督学习是学习一个模型，使模型能够对任意给定的输入（输入空间），对其相应的输出做出一个好的预测（输出空间）。监督学习假设输入输出的随机变量X和Y具有联合概率分布。假设空间是输入空间到输出空间的映射。

回归问题：输入输出均为连续变量的预测问题；分类问题：输出变量为有限个离散变量的预测问题。

监督学习过程中，利用给定的训练数据集，通过学习得到模型，这个模型就是条件概率分布P（Y|X)或者Y=f(X)

模型的假设空间：所有的条件概率分布以及决策函数的集合。

策略：损失函数和风险函数，损失函数包括：0-1损失函数，平方损失函数，绝对损失函数，对数损失函数。风险函数就是期望损失。有经验风险最小化（极大似然估计）与结构风险最小化（防止过拟合，例如最大后验概率估计）。

  1.0-1损失函数(0-1 loss function)

L(Y,f(X))={1,Y≠f(X)0,Y=f(X) L(Y,f(X))={1,Y≠f(X)0,Y=f(X)

  可以看出，该损失函数的意义就是，当预测错误时，损失函数值为1，预测正确时，损失函数值为0。该损失函数不考虑预测值和真实值的误差程度，也就是只要预测错误，预测错误差一点和差很多是一样的。

---

2.平方损失函数(quadratic loss function)

L(Y,f(X))=(Y−f(X))2 L(Y,f(X))=(Y−f(X))2

  该损失函数的意义也很简单，就是取预测差距的平方。

---

3.绝对值损失函数(absolute loss function)

L(Y,f(X))=|Y−f(X)| L(Y,f(X))=|Y−f(X)|

  该损失函数的意义和上面差不多，只不过是取了绝对值而不是求绝对值，差距不会被平方放大。

---

4.对数损失函数(logarithmic loss function)

L(Y,P(Y|X))=−logP(Y|X) L(Y,P(Y|X))=−logP(Y|X)

  这个损失函数就比较难理解了。事实上，该损失函数用到了极大似然估计的思想。P(Y|X)通俗的解释就是：在当前模型的基础上，对于样本X，其预测值为Y，也就是预测正确的概率。由于概率之间的同时满足需要使用乘法，为了将其转化为加法，我们将其取对数。最后由于是损失函数，所以预测正确的概率越高，其损失值应该是越小，因此再加个负号取个反。