机器学习（1） -- 绪论

1.1 引言

机器学习：研究如何通过计算的手段，利用经验来改善系统自身地性能。“经验”以数据的形式存在

计算机科学：研究关于“算法”的学问
机器学习： 研究关于“学习算法”的学问

模型：泛指从数据中学得的结果

1.2 基本术语：

， ，
表示包含了m个示例的数据集，每个示例是d维空间Χ的一个向量，d是维数

数据集：一组记录的集合，亦称一个“样本”，因为可看作对样本空间的采样；其中每条记录是关于一个事件或对象的描述
示例/样本：数据集中的每条记录是关于一个事件或对象的描述，称“示例”或“样本”
属性：反映事件或对象在某方面的表现或性质的事项
属性值：属性的取值
属性空间/样本空间/输入空间：属性张成的空间

模型，也叫学习器，可看做给定算法在给定数据和参数空间上的实例化
假设：学得模型对应了关于数据的某种潜在的规律，因此亦称“假设” （hypothesis）
真相/真实：这种潜在规律自身
学习的过程是为了找出或逼近真相

标记：关于示例结果的信息
样例：拥有了标记信息的示例；用（xi,yi）表示第i个样例，yi∈Y是示例xi的标记，Y是所有标记的集合，是标记空间/输出空间

分类：欲预测的是离散值的学习任务是“分类”
回归：欲预测的是离散值的学习任务是“回归”
预测任务是希望通过对训练集 {（x1,y1）,（x2,y2）……（xm,ym）} 进行学习，建立一个从输入空间X到输出空间Y的映射f:X→Y；对二分类任务，Y={-1,+1}，对多分类任务|Y|>2；对回归任务Y=R
分类和回归是监督学习的代表

聚类：对训练集分成若干组，每组成为一个簇，这些簇可能对应一些潜在的概念划分，比如“浅色瓜”、“本地瓜”。这样的学习过程有利于帮助我们了解数据内在的规律。
聚类是无监督学习的代表

机器学习的目标是使学得的模型能很好的适用于“新样本”。
泛化能力：学得模型适用于新样本的能力，称为“泛化”能力
通常假设样本空间中全体样本服从一个未知“分布”D，我们获得的每个样本都是独立地从这个分布上采样获得的，即“独立同分布”（i.i.d）。
训练集是样本空间的一个很小的采样
一般，训练样本越多，得到的关于D的信息越多

1.3 假设空间

归纳和演绎是科学推理的两大基本手段。
归纳：从特殊到一般的“泛化”过程，从具体事实归纳出一般性规律
演绎：从一般到特殊的“特化”过程，从基础原理推演出具体状况

归纳学习有狭义和广义之分。
广义的归纳学习大体相当于从样例中学习
狭义的归纳学习则要求从训练数据中学得概念，因此亦称“概念学习”或“概念形成”
概念学习最基本是布尔概念学习

学习过程可看作是在所有假设组成的空间中进行搜索的过程，搜索目标是找到与训练集“匹配”的假设
实际面临很大的假设空间，但学习过程是基于有限样本训练集进行的，因此可能有多个假设与训练集一致，即存在着一个与训练集一致的“假设集合”，称之为“版本空间”

1.4 归纳偏好

机器学习算法在学习过程中对某种类型假设的偏好，称为“归纳偏好”。任何一个有效的机器学习算法必有其归纳偏好。
归纳偏好可看作学习算法自身在一个可能很庞大的假设空间中对假设进行选择的启发式或价值观。
归纳偏好对应了学习算法本身所做出的的关于“什么样的模型更好”的假设。
“奥卡姆剃须刀”，可用来引导算法确立正确的偏好，即，若有多个假设与观察一致，则选最简单的那个。

“没有免费的午餐”定理
NFL定理寓意：脱离具体问题，空泛的谈论“什么学习算法更好”毫无意义，因为若考虑所有潜在的问题，则所有学习算法都一样好。

1.5 发展历程

推理期：基于符号知识表示，通过演绎推理技术
知识期：基于符号知识表示，通过获取和利用领域知识来建立专家系统
学习期：
从样例中学习（广义的归纳学习），涵盖了监督学习、无监督学习，其中一大主流是符号主义学习，包括决策树和基于逻辑的学习
典型的决策树学习以信息论为基础，以信息熵的最小化为目标，直接模拟了人类对概念进行判定的树形流程。
基于逻辑的学习的著名代表是归纳逻辑程序设计（ILP），可看作机器学习与逻辑程序设计的交叉，使用一阶逻辑进行知识表示，通过修改和扩充逻辑表达式来完成对数据的归纳。
从样例中学习另一大主流是基于神经网络的连结主义学习。