![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
统计学习方法-李航
萌即正义Zitrone
SMART is the new sexy.
展开
-
统计学习方法-李航(1)
统计学习方法-李航(第一章1)第一章 统计学习概论1.1 统计学习1.2 监督学习1.3 统计学习的三要素 第一章 统计学习概论 1.1 统计学习 1、统计学习是关于计算机基于数据构建概论统计模型并运用模型对数据进行预测与分析的一门学科。 2、统计学习的对象是数据,关于数据的基本假设是同类数据具有一定的统计规律性。 3、统计学习的目的是对数据进行预测与分析。考虑什么样的模型和如何学习模型,以使模型...原创 2018-11-19 19:28:56 · 275 阅读 · 0 评论 -
统计学习方法-李航(2)
统计学习方法-李航(第一章2)如何对经验风险进行矫正经验风险最小化(ERM)缺点结构风险最小化极大似然估计和贝叶斯估计(PR)极大似然估计贝叶斯估计 如何对经验风险进行矫正 在现实中,由于训练样本数目有限,甚至很小,所以用经验风险估计期望风险往往不理想,要对经验风险进行一定的矫正。这就关系到监督学习的两个策略:经验风险最小化和结构风险最小化。 经验风险最小化(ERM) 经验风险最小的模型就是最优的...原创 2018-11-21 19:45:23 · 350 阅读 · 0 评论 -
统计学习方法-李航(3)
统计学习方法-李航(第一章3)模型评估与模型选择训练误差与测试误差过拟合与模型选择例如:多项式拟合正则化和交叉验证正则化例如:回归问题交叉验证简单交叉验证S折交叉验证(S-fold cross validation)留一交叉验证 模型评估与模型选择 训练误差与测试误差 统计学习的目的是使学到的模型不仅对已知数据而且对未知数据都能优很好的预测能力。 当损失函数是0-1损失时,测试误差就变成了常见的测...原创 2018-11-21 22:56:43 · 156 阅读 · 0 评论 -
统计学习方法-李航(4)
统计学习方法-李航(第一章4)泛化能力泛化误差泛化误差上界考虑二分类问题的泛化误差上界泛化误差上界定理泛化误差上界定理证明 泛化能力 泛化误差 学习方法的泛化能力是指由该方法学习到的模型对未知数据的预测能力。现实中采用最多的办法是通过测试误差来评价学习方法的泛化能力,但这种评价依赖测试数据集,测试数据集是有限的。 统计上试图从理论上对学习方法的泛化能力进行分析。 如果学到的模型是f^\hat ff...原创 2018-11-22 00:05:23 · 149 阅读 · 0 评论 -
统计学习方法-李航(5)
统计学习方法-李航(5)生成模型与判别模型监督学习方法生成方法(generative approach)生成模型(generative model)判别方法(discriminative approach)判别模型(discriminative model )生成方法的特点判别方法的特点 生成模型与判别模型 决策函数Y=f(x)Y=f(x)Y=f(x)或P(Y∣X)P(Y|X)P(Y∣X) 监督学...原创 2018-12-10 20:07:24 · 157 阅读 · 0 评论 -
统计学习方法-李航(6)
统计学习方法-李航(6)分类问题评价指标标注问题过程学习标注回归问题过程 分类问题 在监督学习中,当输出变量Y取有限个离散值时, 预测问题便成为分类问题。 分类问题包括学习和分类两个过程。 评价指标 TPTPTP——将正类预测为正类数 FNFNFN——将正类预测为负类数 FPFPFP——将负类预测为正类数 TNTNTN——将负类预测为负类数 精确率:P=TPTP+FPP=\frac{TP}{TP+...原创 2018-12-10 20:48:45 · 165 阅读 · 0 评论