一、绪论
1.1基本术语
数据集:数据记录的集合。数据集中的每一条记录称作示例或样本。反映所研究事件或对象的特性叫做属性或特征。一个示例又被叫做一个特征向量。
学习或训练:从数据中学得模型的过程。
标记(label):关于示例结果的信息。拥有标记的示例称为样例。
预测的是离散值称为分类,预测的是连续值成为回归。
学得模型后,使用其进行预测的过程称为测试。
聚类(clustering):即将训练集中的西瓜分成若干组,每组称为一个“簇”(cluster)。例如浅色瓜、深色瓜。在聚类学习中,浅色瓜和深色瓜是自动形成的簇,浅色瓜深色瓜的概念我们事先并不知道,也不拥有标签。
根据训练数据是否有标记信息,讲学习分为两大类,监督学习(supervised learning)和无监督学习(unsupervised learning)。分类和回归属于监督学习,聚类属于无监督学习。
机器学习的目标是使学得的模型能更好地适应于新样本,学得模型适应于新样本的能力,称为“泛化”(generalization)能力。
1.2假设空间
假设空间有样本属性的所有可能取值所形成的假设(hypothesis)组成。例如“色泽=? 根蒂=? 敲声=?”的所有可能取值所形成的假设组成假设空间。
可能有多个假设与训练集一致,即存在着一个与训练集一致的“假设集合”,我们称之为“版本空间”(version space)。
1.3归纳偏好
机器学习算法在学习过程中对某些类型假设的偏好,称为“归纳偏好”。
“奥卡姆剃刀”原则是一种常用的可以用来引导算法确立“正确”偏好的原则,即“若由多个假设与观察一致,则选择最简单的那个。”
1.4发展历程
二十世纪五十年代至七十年代,人们认为只要赋予机器逻辑推理能力,机器就能具有智能。
二十世纪七十年代中期,要使机器具有智能,就必须设法使机器拥有知识。
二十世纪五十年代中后期,基于神经网络的“连接主义”(connection)学习开始出现,六七十年代,基于逻辑表示的“符号主义”(symbolism)学习开始发展。