【基础不牢，地动山摇】什么是统计学习

最近阅读了李航教授的统计学习，因此简单做个笔记，全当是对自己知识体系的差漏补缺。

什么是统计学习？

统计学习是计算机利用模型，对数据进行分析和预测的学科。统计学习有监督学习，半监督学习，非监督学习，还有强化学习。

统计学习三要素是什么？

• 模型
• 策略
• 算法

学习方法

统计学习有一个大的前提，就是数据独立同分布，楼主之前主要做迁移学习方面。考虑的问题大都是训练集和测试集不服从独立同分布假设。这里简单的介绍下：

• 监督学习
  从有限个已知标记的数据出发，在某个空间内，根据某个规则选出一个最优的模型。
• 非监督学习
  根据上述的定义可以推广以下，半监督就是有的数据已知标签，有的还是未知。
• 半监督学习
  故名思议，已知的数据都没有标签。

学习目的

模型的学习最终是让模型的训练误差减小，同时保持有较高的泛化能力。

什么是模型的误差？

• 训练误差 在训练集上数据通过模型获得的预测值与真实标签的误差
• 测试误差 在测试集上数据通过模型获得的预测值与真实标签的误差

什么是泛化能力？

可以理解为模型的适应能力，有时候在训练数据上误差特别低，但是用到测试集上，误差突然增大，这就是出现了有名的过拟合现象，泛化能力差，训练的模型并不可用。

如何减小过拟合？

使用正则化方法，或者交叉验证法。
正则化方法一般使用L1或者L2正则。L1主要是用来稀疏化数据的， L2主要是压缩权值的。可以根据实际情况进行选择