前提回顾:
1、损失函数(loss function)或代价函数(cost function)来度量预测错误的程度;
2、风险函数(risk function)或期望损失(expected loss)是损失函数的期望;
3、经验风险(empirical risk)或经验损失(empirical loss)是训练集的风险函数;
4、结构风险(structural risk)=经验风险+正则化项(regularizer)或罚项(penalty term);
(一)正则化项可以选择参数向量的L1或L2范数。
(二)将数据分为三部分:训练集、验证集、测试集。
(三)简单交叉验证:随机将数据分为两部分,分别作为训练集和验证集;
S折交叉验证:随机将已给数据分为S个互不相交的大小相同的子集;然后利用S-1个子集的数据训练模型,利用余下的子集测试模型;将这一过程对可能的S中选择重复进行;最后选出S次评测中平均测试误差最小的模型。
(四)学习方法的泛化能力(generalization ability)是指由该方法学习到的模型的预测能力。泛化误差(generalization error)反映了学习方法的泛化能力。PS:泛化误差上界定理看不懂,这个不重要,只要知道它是评价这个方法好不好使的指标就行了。
(五)监督学习分为生成方法(generative approach)和判别方法(discriminative approach)。
生成模型学习联合概率分布P(X,Y);判别方法学习条件概率P(Y|X)或f(X)。
(六)当数据变量Y取有限个离散值时,预测问题便成为分类问题。评价分类器性能的指标一般是分类准确率(0-1损失函数)。
TP——将正类预测为正类数;
FN——将正类预测为负类数;
FP——将负类预测为正类数;
TN——将负类预测为负类数;
精确率P=TP/(TP+FP);召回率R=TP/(TP+FN)
(七)标注问题。例如输入一个英文句字(观测序列),输出每一个单词的词性(标记序列或状态序列)。
(八)回归问题的学习等价于函数拟合。