统计学习——基础概念、过拟合与正则化、分类与回归问题

监督学习： 学习一个模型，使得模型能够对任意给定的输入，对其相应的输出做出一个好的预测。
监督学习从训练数据集合中学习模型，对测试数据进行预测。
输入变量与输出变量均为连续变量的预测问题称为回归问题。
输出变量为有限个离散变量的预测问题称为分类问题。
输入变量与输出变量均为变量序列的预测问题称为标注问题。
联合概率分布： 监督学习中假设输入与输出的随机变量X和Y遵循联合概率分布P(X,Y)，其中，联合概率是指在多元的概率分布中，多个随机变量分别满足各自条件的概率，也是共同发生的概率。

特征空间

每个具体的输入是一个 实例，通常由特征向量表示。这时所有特征向量存在的空间称为特征空间，特征空间的每一维对应于一个特征。

监督学习问题的形式化

统计学习三要素

1.模型

监督学习的模型可以是概率模型或非概率模型，由条件概率分布P(Y|X)或决策函数Y=f(X)表示，写作p(y|x)或y=f(x)。
输入空间到输出空