相关概念
-
学习(训练):从数据中学得模型的过程
-
训练数据:训练过程中使用的数据
-
训练样本:训练数据中每一个样本
-
训练集:训练样本组成的集合
-
假设:学得模型对应关于数据的某种潜在规律
-
真相(真实):潜在规律自身
-
测试:使用学习后的模型进行预测的过程
-
测试样本:被预测的样本
-
泛化能力:学得模型适用于新样本的能力
-
归纳与演绎是科学推理的两大基本手段
-
归纳:从特殊到一般的“泛化”过程,从具体的事实归结出一般性规律
-
演绎:从一般到特殊的“特化”过程,从基础原理推演出具体情况
-
广义的归纳学习:从样例中学习
-
狭义的归纳学习(概念学习、概念形成):从训练数据中学得概念
-
版本空间:一个与训练集一致的“假设集合”
-
归纳偏好(偏好):机器学习在学习过程中对某种类型假设的偏好
-
奥卡姆剃刀:若有多个假设与观察一致,则选最简单的那个
-
NFL定理:所有“问题”出现的机会相同或所有问题同等重要,则它们的期望性相同,无关学习算法
发展历程
推理期
“逻辑理论家”程序,“通用问题求解”程序
知识期
大量专家系统问世
蓬勃期
第一届机器学习研讨会,相关期刊和书本的出版,机器学习成为一个独立的学科领域,各种机器学习技术百花初绽
分类
分类一
-
从样例中学习
-
在问题求解和规划中学习
-
通过观察和发现学习
-
从指令中学习
分类二
-
机械学习
-
示教学习
-
类比学习
-
归纳学习
从样例中学习
-
符号主义学习(决策树和基于逻辑的学习)
-
基于神经网络的连接主义学习(BP)
-
统计学习(SVM和核方法)
-
深度学习(多层神经网络)