1、统计学习方法分类
1)监督学习
2)非监督学习
3)半监督学习
4)强化学习
2、统计学习三要素/三步骤
1)模型:确定模型的假设空间
2)策略:确定模型选择的准则
3)算法:求解并选择最优模型
3、主要学习问题分类
1)分类问题
输出值为离散值(如预测明天的天气:【晴天、阴天、雨天】),若只有两个类别则为二分类问题,超过两个类别则为多分类问题。
2)回归问题
输出值为连续值(如预测明天的气温)
3)标注问题
输出值为序列(如:词性标注),由观测序列得到标记序列。
例如, 英文句子是一个观测序列,给出以下的观测序列, 标注系统产生相应的标记序列, 即给出句子中的基本名词短语。
输入: At Microsoft Research,we have an insatiable curiosity and the desire to create new technology that will help define the computing experience。
输出: At/O Microsoft/B Research/E,we/O have/O an/O insatiable/B curiosity/E and/O the/O desire/BE to/O create/O new/B technology/E that/O will/O help/O define/O the/O computing/B experience/E。
4、泛化能力
泛化能力:模型对未知数据的预测能力。
泛化误差:对未知数据预测的误差,反映了模型的泛化能力。
5、监督学习模型分类
1)生成模型
学习联合概率分布P(X,Y),然后求出条件概率分布P(Y|X)作为预测模型(如:朴素贝叶斯,隐马尔可夫)
生成方法特点:可还原出联合概率分布;学习收敛速度快;存在隐变量时,仍可使用。
2)判别模型
直接学习决策函数F(X)或者条件概率分布P(Y|X)作为预测模型(如:KNN,DT,LR,SVM)
直接学习,直接面对预测,往往学习准确率更高;可以对数据各种程度的抽象、定义特征并使用特征从而简化学习;
6、常用的模型性能评价指标
TP——将正类预测为正类数;
FN——将正类预测为负类数;
FP——将负类预测为正类数;
TN——将负类预测为负类数;
1)准确率
2)精确率
3)召回率
4)F1
5)AUC
7、欠拟合与过拟合
1)欠拟合:模型复杂度太低,没有很好的拟合已知数据,泛化能力差。
解决方法:
a.增加新特征(特征组合、高次特征);
b.减少正则化参数;
c.使用非线性模型;
d.调整模型的容量(capacity)(通俗地,模型的容量是指其拟合各种函数的能力)如集成学习;
2)过拟合:模型复杂度太高,对已知数据拟合的好,对未知数据拟合的差,泛化能力差。
解决方法:
a.正则化;
b.增加数据样本;
c.PCA、特征那选择等技术降维、去掉冗余特征;
d.提前结束训练;
6、模型选择方法
1)正则化
(1)L1范数:
(2)L2范数:
(3)L1和L2的作用:
a.L1正则化可以产生稀疏权值矩阵,即产生一个稀疏模型,可以用于特征选择,一定程度上,L1也可以防止过拟合;
b.L2正则化可以防止模型过拟合(overfitting);
1.什么是稀疏矩阵?
很多元素为0,只有少数元素是非零值的矩阵。2.为什么L1可以产生稀疏矩阵(L1是怎么让系数等于零的)?
参考:https://blog.csdn.net/jinping_shi/article/details/52433975
https://blog.csdn.net/liuweiyuxiang/article/details/99984288
3.L1和L2的区别?
a.L1可以产生稀疏权值矩阵,即产生一个稀疏模型,最后使用的是它们最重要的输入特征的稀疏子集;
b.L2使模型更倾向于使用所有输入特征,而不是严重依赖输入特征中某些小部分特征。 L2惩罚倾向于更小更分散的权重向量,这就会鼓励分类器最终将所有维度上的特征都用起来,而不是强烈依赖其中少数几个维度;
c.在实践中,如果不是特别关注某些明确的特征选择,一般说来L2正则化都会比L1正则化效果好;
2)交叉验证
将数据切分为三部分:训练集(训练模型)、验证集(选择模型)、测试集(评估模型)
(1)简单交叉验证
训练集+测试集
(2)S折交叉验证
step1:随机将数据切分成S个不相交的子集;
step2:利用S-1个子集的数据训练模型,剩下的子集测试模型;
step3:S种选择重复进行;
step4:选出S次测评中平均测试误差最小的模型;
(3)留一交叉验证
S折的特殊情形S=N,N是数据集的容量
7、损失函数与风险函数
1)损失函数/代价函数:度量模型一次预测的好坏
常用损失函数:
(1)0-1损失函数
(2)平方损失函数
(3)绝对损失函数
(4)对数损失函数
2)风险函数:平均意义下模型的好坏
经验风险/经验损失:训练集的平均损失
经验风险最小化:
结构风险最小化(当样本量少时容易产生过拟合):
,
监督学习问题就变成了求解结构风险最优化问题: