【复习笔记】设计一个学习系统

机器学习

计算机能够根据经验来自我学习，提高某任务处理性能的行为。

关于学习的定义

定义：对于某类任务T和性能度量P，如果一个计算机程序在T上以P衡量的性能随着经验E而自我完善，那么我们称这个计算机程序在从经验E中学习。
通常为了很好的定义一个学习问题，我们必须明确这样三个特性：任务的种类，衡量任务提高的标准，经验的来源。
例如：西洋跳棋学习问题

• 任务T：下西洋跳棋
• 性能标准P：比赛中击败对手的百分比
• 训练经验E：和自己进行对弈

基本设计方法和学习途径

1. 选择训练经验
   第一个关键属性：训练经验能否为系统的决策提供直接或间接的反馈。
   第二个关键属性：学习器可以在多大程度上控制训练样例序列。
   第三个关键属性：训练样例的分布能多好地表示实例分布，最终系统的性能P是通过后者来衡量。
2. 选择目标函数
3. 选择目标函数的表示
4. 选择函数逼近算法
5. 最终设计
   执行系统：用学会的目标函数解决给定的任务。以新问题的实例作为输入，产生一组解答路线作为输出。
   鉴定器：以执行系统的输出最为输入，输出目标函数的一系列训练样例。
   泛化器：以训练样例最为输入，产生一个输出假设，作为它对目标函数的估计。
   实验生成器：以当前假设作为输入，输出一个新问题。