统计学习基本三要素----基础知识

最新推荐文章于 2024-07-05 20:55:22 发布

x_bessie

最新推荐文章于 2024-07-05 20:55:22 发布

阅读量905

点赞数

分类专栏：机器学习大数据统计学习方法

本文链接：https://blog.csdn.net/x_bessie/article/details/90372190

版权

本文探讨统计学习的三个核心要素：模型（包括决策函数和参数空间）、策略（如损失函数和风险函数）和算法（如正则化与交叉验证）。介绍了正则化在防止过拟合中的作用，以及交叉验证的不同类型。还讨论了泛化能力、生成模型与判别模型的对比，以及在分类问题和回归问题中常用的方法和评估指标。

摘要由CSDN通过智能技术生成

方法=模型+策略+算法

模型：
1.决策函数的集合
2.参数空间
3.条件概率的集合
4.参数空间

策略：
损失函数
风险函数
O-1损失函数
平方损失函数
绝对损失函数
对数损失函数
损失函数的期望
经验风险

提醒：
经验风险最小化与结构风险最小化
当样本容量很小时，会有过拟合。
结构风险最小化，防止过拟合提出的策略。等价于正则化。
最优模型就是求解最优化问题。

算法：如果最优化问题有显式的解析式，算法比较简单。但通常解析式不存在，就需要数值计算的方法。

交叉验证：训练集用于训练模型
验证集用于模型选择
测试集同于最终对学习方法的评估

1.简单交叉验证
2.S折交叉验证
3.留一交叉验证

泛化误差性质：样本容量增加，泛化误差趋于0

条件概率
朴素贝叶斯法和隐马尔可夫模型

常见：

1. 判别式分析
2. 朴素贝叶斯Native Bayes
4. K近邻KNN
5. 隐马尔科夫模型HMM
6. 贝叶斯网络
7. sigmoid belief networks
8. 马尔科夫随机场Markov random fields
9. 深度信念网络DBN
10. 隐含狄利克雷分布简称

关注

专栏目录