第二章-机器学习基本概念

机器学习基本概念

假设空间

• 所有模型的集合称为假设空间
• 与训练集一致的假设集合，我们称为版本空间

学习方法三要素

• 损失函数是模型一次预测的好坏。
• 风险函数是平均意义上模型预测的好坏。
  
  

训练误差和测试误差

• 当损失函数是0-1损失时，测试误差+测试准确率=1
  

过拟合和模型选择

给一个例子具体说明过拟合，在经验风险最小时，看W的取值（参数的个数）

M不同，拟合曲线不同，可以看出M=9时，拟合最好

下图是训练和测试误差，虽然M=9时，训练误差最小，但是测试误差很大。这就是过拟合现象：学习时选择的模型过于复杂，或者包含的参数太多，以至于这个模型对已知的数据预测的很好，对未知数据预测的很差这一现象。

训练误差和测试误差与模型复杂度的关系图

当模型较复杂时，我可以增加训练样本集大小的方式去减少泛化误差。
针对减小泛化误差另外一种方法就是正则化。

当M=9时，加入正则化项后，模型性能变化。

正则化项增大，如右边为0，会使参数受到更大的抑制，从而模型变得更加简单。

泛化能力

模型泛化能力是指，由该方法学习到的模型，对未知数据预测的能力。
主要通过测试误差来评价，但是测试数据的有限和不同，使得评价不是很可靠。
泛化能力是通过研究泛化误差的上届进行的，

生成模型和判别模型

监督学习方法分为生成方法和判别方法，对应生成模型和判别模型。
生成模型：模型为决策函数或条件概率分布，由数据学习联合概率分布，然后求出条件概率。
判别模型：直接求取决策函数，或条件概率分布。