本文简单介绍一下机器学习的三要素(以监督学习为例)。机器学习方法都是由模型、策略和算法构成,即机器学习方法由三要素构成,可以简单地表示成:
方法 = 模型 + 策略 + 算法
1.模型
机器学习首先要考虑的问题是学习什么样的模型。在监督学习中,模型就是所要学习的条件概率发布或决策函数。简单地理解:模型本质上就是一个函数,其作用就是实现从一个样本X到样本的标记值Y的一个映射,即 g:X->Y .下面来详细地阐述什么是模型。
输入空间 X 和输出空间 Y 构成了一个样本空间。对于样本空间中的样本(x,y)∈(X,Y),假定存在一个未知的真实映函数 g: X->Y ,使得
或者 (真实条件概率分布) 注意:公式里的x表示的是向量,而非单独的一个x值
机器学习的目标是找到一个模型来近似真实映射函数 或 真实条件概率分布
由于我们不知道真实的 或 真实条件概率分布 的具体形式,我们只能根据经验来假设一个函数集合,称其为假设空间(Hypothesis Space),然后通过观测其在训练集上的特性,从中选择一个理想的假设(Hypothesis).
假设空间通常为一个参数化的函数族:
(1)
其中是参数为的函数,也称为模型(Model)