1.2机器学习定义

实际上，即使是在机器学习的专业人士中，也不存在一个被广泛认可的定义来准确定义机器学习是什么或者不是什么，一些人们尝试定义的示例：
第一个机器学习的定义来自于Arthur Samuel。他定义机器学习为，在进行特定编程的情况下，给予计算机学习能力的领域。Samuel的定义可以回溯到50年代，他编写了一个西洋棋程序，这程序神奇之处在于，编程者自己并不是个下棋高手，于是就通过编程，让西洋棋程序自己跟自己下了上万盘棋。通过观察哪种布局（棋盘位置）会赢，哪种布局会输，久而久之，这西洋棋程序明白了什么是好的布局，什么是坏的布局。程序通过学习红元，玩西洋棋的水平超过了Samuel，这绝对是令人瞩目的成果。尽管编写者自己是个菜鸟，但是因为计算机有着足够的耐心去下上万盘的棋，没有人有这耐心。通过这些练习，计算机获得无比丰富的经验，于是渐渐成为了比Samuel更厉害的西洋棋手。上述是个有点不正式的定义，也比较古老。
另一个年代近一点的定义，由来自卡内基梅隆大学的Tom Mitchell提出。Tom定义的机器学习是：一个好的学习问题定义如下，一个程序被认为能从经验E中学习，解决任务T，达到性能度量值P，当且仅当有了经验E后，经过P评判，程序在处理T时的性能有所提升。西洋棋实例中，经验E就是程序上万次的自我练习，任务T就是下棋，性能度量值P就是它在与一些新的对手比赛时赢得比赛的概率。
目前存在的几种不同类型的学习算法，主要的两种类型为监督学习和无监督学习。监督学习是指，我们将教计算机如何去完成任务，而在无监督学习中，我们打算让它自己进行学习。