统计机器学习

统计机器学习

统计机器学习，即计算机基于数据构建统计模型运用模型对数据进行预测分析。
统计机器学习研究的对象是数据，数据可以是:计算机及互联网上的各种数字、文字、图像、视频、音频数据以及它们的组合(多模态学习)。同时数据的基本假设是同类数据具有一定的统计规律性。
统计机器学习的目的是：用于对数据（特别是未知数据）进行预测和分析。
统计机器学习的方法是：
监督学习（Supervised learning）
非监督学习（Unsupervised learning）
半监督学习（Semi-supervised learning）
强化学习（Reinforcement learning）
主动学习（active learning）

统计机器学习方法三要素

统计机器学习方法的三要素为：模型+策略+算法。
模型：即所要学习的条件概率分布或决策函数。 模型的假设空间包含了所有可能的条件概率分布或决策函数。
策略：统计机器学习的目标在于从模型的假设空间中选取最优模型，那么策略就是需要考虑选取什么样的准测来学习/选择最优模型。具体的策略有：经验风险最小化、结构风险最小化。
算法：是指学习模型的具体计算方法。

监督学习中几个重要概念

模型的训练误差和模型的测试误差
过拟合
正则化与交叉验证
泛化误差和泛化误差上界
加粗样式
参考：CH01 统计学习及监督学习概论