1956年,阿瑟·萨缪尔(Arthur Samuel)应约翰·麦卡锡(John McCarthy)邀请,在达特茅斯会议介绍自己研发的一个西洋跳棋程序,这个程序具有“学习能力”,它可以通过对大量棋局的分析逐渐辨识出当前局面下的"好棋"和"坏棋',从而不断提高下棋水平。萨缪尔提出了"机器学习"这个词,并将其定义为一种研究领域,即“不进行显式编程就可让计算机进行学习的研究领域”。
同时,在达特茅斯会议上也正式提出了“人工智能”这个术语,并将人工智能定义为:“制造智能机器的科学和工程”。在那个年代,致力于“智能”的科学家们的研究视角还未转向“数据驱动”,而是专注于自动机理论、形式逻辑和控制论等东西。也就是说麦卡锡当时想要创造一个术语来容纳所有这些范式,而不是倾向于任何特定的方法。
从当时研究者的意图来看,机器学习是为了描述计算机的设计过程而创建的,该过程利用统计方法来改善性能。也就是说该术语是旨在与构建智能机器的非数据驱动方法形成对比,不是为了与统计学形成对比。毕竟统计学重点使用数据驱动的方法为人类提供有效信息。
另一个被普遍认可的机器学习的定义来自于汤姆·米切尔(Tom M.Mitchell)在1997年出版的教科书,他在书中提到:“机器学习领域涉及如何让计算机程序通过经验而自动改进的一类问题”。另外,书中还有一个半正式定义:对于某类任务T和性能度量P,计算机程序从经验E中学习,然后它在任务T中的性能P随着经验E的提高而提高。