第一章——统计学习方法概论

统计学习

统计学习：监督学习（supervised learning）、非监督学习（unsupervised learning）、半监督学习（semi-supervised learning）、强化学习（reinforcement learning）

统计学习方法的三要素：模型model、策略strategy、算法algorithm

实现统计学习方法的步骤：

（1）得到一个有限的训练数据集合

（2）确定包含所有可能的模型的假设空间，即model的集合

（3）确定模型选择的准则，即学习的策略

（4）实现求解最优模型的算法，即学习的算法

（5）选择最优模型

（6）利用学习的最优模型对新数据进行预测和分析

监督学习

输入空间：输入所有可能值的集合

输出空间：输出所有可能值的集合

特征空间：实例(sample)由特征向量表示，所有特征向量存在的空间即为特征空间

三大问题：（1）分类：输出变量为有限个离散变量的预测问题

                 （2）回归：输入和输出变量都是连续变量的预测问题

                 （3）标注：输入和输出均为变量序列的预测问题

三要素

模型

非概率模型

概率模型

策略

损失函数（代价函数 loss function）：Y和f(x)的非负实值函数，度量模型一次预测的好坏，损失函数值越小，模型越好

四中常见的损失函数：

（1）0-1损失函数

（2）平方损失函数

（3）绝对损失函数

（4）对数损失函数

风险函数

经验风险函数