机器学习笔记之绪论

1.1引言

机器学习所研究的主要内容，是关于在计算机上从数据中产生“模型”(model)的算法，即“学习算法”（learning algorithm）.

1.2基本术语

数据集（data set），其中每条记录是关于一个事件或对象的描述，称为一个“示例”（instance）或“样本”（sample）,"特征向量”.

反映事件或对象在某方面的表现或性质的事项，称为“属性”（attribute）或“特征”(feature)；

属性上的取值，称为“属性值”（attribute value）.

属性张成的空间称为“属性空间”（attribute space）、“样本空间”(sample space)、“输入空间”.

表示第i个样例，其中是示例的标记，Y称为标记空间，输出空间。

预测的是离散值，此类学习任务称为分类（classification）；预测的是连续值，此类学习任务称为回归(regression)。

根据训练数据是否拥有标记信息，学习任务大致分为两类：监督学习(supervised learning)和无监督学习(unsupervised learning)。

分类和回归属于监督学习，聚类(clustering)属于无监督学习。

学得模型适用于新样本的能力，称为泛化（generalization）能力。

1.3假设空间

从样例学习是一个归纳过程，称为归纳学习。

1.4假设偏好

机器学习算法在学习过程中对某种类型假设的偏好，称为归纳偏好。简称偏好。

“奥卡姆剃刀”是一种最基本的准则，选择最简单的那个。

1.6应用现状

机器学习提供数据分析能力。机器学习和数据库是数据挖掘的两大支撑。