机器学习Introductoin

学习问题的标准描述

如果一个计算机程序针对某类任务T的用P衡量的性能根据经验E来自我完善，那么我们称这个计算机程序在经验E中学习，针对某类任务T，它的性能用P来衡量。
例如：西洋跳棋学习问题
任务T：下西洋跳棋
性能标准P：比赛中击败对手的百分比
训练经验E：和自己进行对弈

设计一个学习系统

1.选择训练经验，使系统从中学习。

训练经验的重要属性：
（1）训练经验能否为系统的决策提供直接或间接的反馈
（2）学习器能在多大程度上控制训练样例序列
（3）训练样例的分布能多好的表示实例分布，通过样例来衡量最终系统的性能P（一般而言，当训练样例的分布和将来的测试样例的分布相似时，学习具有最大的可信度）

2.选择目标函数

针对西洋跳棋学习问题来说，当前的学习目标是发现一个可操作性的定义V，它能够被西洋跳棋程序用来在实际的时间限制内评估器具并选取走法。所以这种情况下，学习任务被简化成发现一个理想目标函数V的可操作描述。通常要完美的学习这样一个V的可操作性的形式是非常困难的。事实上，通常我们仅希望学习算法得到近似的目标函数，由于这个原因学习目标函数的过程通常被称为函数逼近。

3.选择目标函数的表示

通常选择这个描述包含一个重要的权衡过程，一方面，我们总希望选取一个非常有表现力的描述，以最大可能的逼近理想的目标函数V；另一方面，越有表现力的描述需要越多的训练数据，是程序能够从它表示的多种假设中选择。

4.选择函数逼近算法

（1）估计训练值
（2）调整权值：把最佳的假设（权值集合）定义为式训练值和假设V（hat）预测出的误差平方和E最小。

5.最终设计

（1）执行系统：用学会的目标函数来解决给定的任务。那新问题的实例作为输入，产生一组答疑路线作为输出
（2）鉴定器：以对弈的路线或历史记录作为输入，输出目标函数的一系列样例
（3）泛化器：一训练样本作为输入，产生一个输出假设，作为它对目标函数的估计
（4）以当前的假设作为输入，输出一个新的问题供执行系统去探索

机器学习的一个有效观点

机器学习问题常归结于搜索问题，即对一个非常大的假设空间进行搜索，以确定一个最佳拟合观察到的数据和学习器已有知识的假设。

机器学习的问题

1.存在什么样的算法能从特定的训练数据学习一般的目标函数？如果提供了充足的训练数据，什么样的条件下会使特定的算法收敛到期望的函数？哪个算法对于哪些问题和表示的性能最好？
2.多少训练数据是充足的？怎么找到学习到假设的置信度与训练数据的数量及提供给学习器的假设空间特性之间的一般关系？
3.学习器拥有的先验知识是怎样引导从样例进行泛化的过程的？当先验知识仅仅是近似正确时，他们会有帮助吗？
4.关于选择有效的后续训练经验，什么样的策略最好？这个策略会如何影响学习问题的复杂性？
5.怎样把学习任务简化成一个或多个函数逼近问题？系统该如何视图学习哪些函数？这个过程本身自动化吗？
6.学习器怎样自动的改变表示法来提高表示和学习目标函数的能力？