《机器学习》读书笔记，第一章引言

机械工程出版社的《机器学习》是一本很不错的入门书籍，这里整理一下我的学习笔记

第一章，引言


1.1机器学习的定义：
对于某类任务T和性能度量P，如果一个计算机程序在T上以P衡量的性能随着经验E而自我完善，那么我们称这个计算机程序在从经验E中学习。


1.2设计一个学习系统：
一般来说，训练样例的分布于测试样例的分布相似时，学习具有最大的可信度。目前多数机器学习理论都依赖于训练样例与测试样例分布一致这一假设。
尽管我们需要这样的假设以便得到理论结果，但同样必须记住在实践中这个假设经常是不成立的。

西洋跳棋学习问题：
任务T：下西洋跳棋
性能指标P：世界锦标赛上击败对手的百分比
训练经验E：和自己进行对弈
为了完成这个学习系统的设计，需要选择
1）要学习的知识的确切类型（目标函数）
目标函数的
2）对于这个目标知识的表示（选择特征）
3）一种学习机制（估计训练值，调整权值）
LMS权值更新法——最小均方法
对每一个训练样例<b, y(b)>
使用当前的权值计算H(b)
对每一个权值w进行更新:w = w + Etah(y(b) - h(b)) * x(i)


1.2.5最终设计：
学习系统的核心组件————四个不同的程序模块：
实验生成器--执行系统--鉴定器--泛化器--实验生成器
执行系统，用学会的目标函数来解决给定的任务，我们期待它的性能会随着评估函数的日益准确而提高
鉴定器，它以历史记录作为输入，输出目标函数的一系列训练样例
泛化器，它以训练样例作为输入，产生一个输出假设，作为它对目标函数的估计
实验生成器，它以当前的假设作为输入，输出一个新的问题供执行系统去探索


1.3机器学习的观点：
机器学习问题经常归结于搜索问题，即对非常大的假设空间进行搜索，以确定最佳拟合到观察到的数据和机器学习已有知识的假设
于是机器学习的任务就是搜索这个空间，寻找与训练数据最佳拟合的假设
针对拟合权值的LMS算法通过迭代调整权值实现了这个目的


本书的很多章节给出了对一些基本表示（例如，线性函数，逻辑描述，决策树，人工神经元网络）定义的假设空间的搜索算法
这些不同的假设表示法适合于学习不同的目标函数
对于其中的每一种假设表示法，对应的学习算法发挥不同内在结构的优势来组织对假设空间的搜索


自始至终，本书都贯穿着这种把学习问题视为搜索问题的看法
从而通过搜索策略和学习器探索的搜索空间的内在结构来刻画学习方法


机器学习的问题：
存在什么样的算法能从特定的训练数据中，学习到一般性的目标函数？
如果提供了充足的训练数据，什么样的条件下会使特定的算法收敛到期望的函数？
哪个算法对哪些问题和表示的性能最好？


多少训练数据是充足的？
怎样找到学习到的假设函数的置信度，与训练数据的数量，及提供给学习器的假设空间特性之间的一般关系？


学习器拥有的先验知识，是怎样引导从样例进行泛化的过程的？
当先验知识仅仅是近似正确时，它们会有帮助吗？


关于选择有效的后续训练经验，什么样的策略最好？
这个策略的选择会如何影响学习问题的复杂性？


怎样把学习任务简化为一个或多个函数逼近问题？
换一种方式，系统该试图学习哪些函数？
这个过程本身能自动化吗？


学习器怎样自动地改变表示法，来提高表示和学习目标函数的能力？