学习教材采用清华大学李航博士所著的《统计学习方法》。
一、统计学习方法三要素:模型,策略,算法。
二、实现统计学习方法的步骤:
1、得到一个有限的训练数据集合;
2、确定包含所有可能的模型的假设空间,即学习模型的集合;
3、确定模型选择的准则,即学习的策略;
4、实现求解最优模型的算法,即学习的算法;
5、通过学习方法选择最优模型;
6、利用学习的最优模型对新数据进行预测或分析。
三、统计学习包括:监督学习、非监督学习、半监督学习及强化学习。
监督学习:输入变量和输入变量均为连续变量的预测问题为回归问题;输出变量为有限个离散变量的预测问题为分类问题;输入变量和输出变量均为变量序列的预测问题称为标注问题。
统计学习假设数据存在一定的统计规律,X和Y具有联合概率分布的假设就是监督学习关于数据的基本假设。
方法=模型+策略+算法
由决策函数表示的模型为非概率模型,由条件概率表示的模型为概率模型。
损失函数(loss Function,代价函数cost Function):度量模型一次预测的好坏;风险函数:度量平均意义下的模型预测的好坏。
常用损失函数:
(1) 0-1损失函数; (2) 平方损失函数; (3) 绝对损失函数; (4)对数损失函数
经验风险最小化与结构风险最小化(正则化)。
结构风险在经验风险上加上表示模型复杂度的正则化项(regularizer)或罚项(penalty term)