1.1 引言
人们能做出有效的预判,是因为人们已经积累了许多经验,而通过对经验的利用,就能对新情况做出有效的决策。
对于计算机而言,机器学习正是这样一门学科,它致力于研究如何通过计算的手段,利用经验来改善系统自身有效决策的性能。
而利用经验的方法,就是从中构造出一种模型(model),依照这种模型做出预判与决策,从而应对现实情况(特别是新的情况)。
我们的目的是让机器自己学习,因而我们希望这种模型的构造是自动的。所以,我们需要一个能够自动构造模型的算法。
在计算机系统中,经验通常以数据形式存在,因此,机器学习所研究的主要内容,是在计算机上利用经验数据产生"模型"的算法,即学习算法(learning algorithm)。为学习算法设置不同的参数值,或给定不同的数据,往往会得到不同的模型。
另外,也可以认为,模型本身具有学习能力,是学习算法在给定数据和参数空间上的实例化,即学习器(learner)。
[Mitchell, 1997] 给出了一个更形式化的定义:假设用 P 来评估计算机程序在某任务类 T 上的性能,若一个程序通过利用经验 E 在 T 中任务上获得了性能改善,则我们就说关于 T 和 P , 该程序对 E 进行了学习。