机器学习--三要素

        本文简单介绍一下机器学习的三要素（以监督学习为例）。机器学习方法都是由模型、策略和算法构成，即机器学习方法由三要素构成，可以简单地表示成：

                                方法 = 模型 + 策略 + 算法

1.模型

        机器学习首先要考虑的问题是学习什么样的模型。在监督学习中，模型就是所要学习的条件概率发布或决策函数。简单地理解：模型本质上就是一个函数，其作用就是实现从一个样本X到样本的标记值Y的一个映射，即 g：X->Y .下面来详细地阐述什么是模型。

        输入空间 X 和输出空间 Y 构成了一个样本空间。对于样本空间中的样本（x,y）∈（X,Y）,假定存在一个未知的真实映函数 g: X->Y ，使得 

                    或者      (真实条件概率分布） 注意：公式里的x表示的是向量，而非单独的一个x值

机器学习的目标是找到一个模型来近似真实映射函数 或 真实条件概率分布  

        由于我们不知道真实的 或 真实条件概率分布  的具体形式，我们只能根据经验来假设一个函数集合，称其为假设空间（Hypothesis Space），然后通过观测其在训练集上的特性，从中选择一个理想的假设（Hypothesis）.

        假设空间通常为一个参数化的函数族：

                                （1）

                其中是参数为的函数，也称为模型（Model）