机器学习之一：一些基本观点

1.机器学习的含义

学习一直是生物具有的特性，在人类身上的表现尤为明显。机器学习，顾名思义，就是让机器（计算机、程序）也具备学习的能力。更精简点来说，就是通过经验提高性能的某类程序。

2. 机器学习研究的问题

为了让计算机（程序）具有学习的能力。首先要让程序明白三个问题：（1）学习要解决的问题 （任务T）（2）怎样算学好了（性能标准P）（3）通过什么知识或方式来提高自己（训练经验E）

比如下棋问题：

任务T：通过视觉传感器在公路上开车

性能标准P：平均无差错行驶里程

训练经验E：人类驾驶时的前视图和指令

怎么描述任务，怎么评估性能标准P，怎么将具体的知识抽象的描述出来。即将具体问题描述为实际问题（数学建模）是设计学习系统的难点与核心。

3. 如何设计一个学习系统（抽象建模）

3.1 选择训练经验

训练经验有三个重要属性：

（1）能否为系统的决策提供直接或间接的反馈；

          直接反馈：由已知的现有状态已知正确的下一步操作来训练。

          间接反馈：只知道经验序列和最终的结局。

          信用分配：若做一个决策需要经历很多步骤，则决定每一步对最终结果的贡献程度成为信用分配问题。

（2）学习器（相当于学习系统的大脑）可以在多大程度上控制训练样例序列。

（3）训练样例的分布能多好的表示实例分布。

3.2 目标函数

3.2.1 目标函数的选择和表示

程序只能看懂数学的东西，我们必须将任务T，知识E，性能标准P量化。这就需要定义一个目标函数来表征学习任务，能评价性能标准。但学习系统想要完美地学习一个理想的目标函数是非常困难的。所以我们希望通过学习算法得到近似的目标函数，过程称为函数逼近。

根据具体的学习任务，目标函数可以表示为线性函数、逻辑描述。决策树、人工神经元网络等等。

3.2.2 选择函数逼近算法

函数逼近就是通过某些准则使得近似的目标函数与理想目标函数的距离足够近，分为训练值估计和权值估计。

3.3 机器学习的一些观点

机器学习问题可以归结为搜索问题。函数逼近就是为了确定一组合适的权向量，即在权向量构成的假设空间里面寻找合适的假设。学习方法可以通过搜索策略和学习器探索的搜索空间的内在结构来刻画。

注：文章里的内容来源于《机器学习》和自己的理解。