第一章 机器学习方法概论

机器学习方法概论

基础知识

1 机器学习三要素

构建一个机器学习方法就是确定具体机器学习三要素的过程

机器学习方法=模型+策略+算法

模型:就是所要学习的条件概率分布或决策函数

策略:模型的假设空间包括所有可能的条件概率分布和决策函数,按照什么样的准则学习或选择最优模型.
也就是在假设空间中如何选择最优模型就是策略.

算法:算法就是指学习模型的具体计算方法.

2 模型的评估与选择

模型的评估标准:

模型的训练误差,模型的测试误差

模型的选择:

常用的模型选择方法,正则化,交叉验证 …

3 泛化能力

泛化能力是指该方法学习到的模型对未知数据的预测能力

一般情况下是利用测试误差来评价学习方法的泛化能力.(这个方法不是很好,太依赖于测试数据集)

思想脉络

整个流程就是:

机器学习基于整个训练数据集,根据学习策略 从假设空间选取最优模型,最后考虑用什么样的计算方法求解最优模型.

监督学习的主要思路:

从给定的数据集训练出发,假设数据的独立同分布,假设模型属于某个假设空间,应用一个评价标准.从假设空间选择一个最优模型.

算法推导

编程实现