第一章 绪论
第一章对机器学习的专业术语和发展历程做了概述,下面主要罗列了第一章中的术语和解释。
1.1 引言
经验:数据
模型(model):从数据中学得的结果,指全局性结果。
模式:局部性结果
1.2 基本术语
数据集(data set):记录的集合
示例(instance):即样本(sample)每条记录是关于一个事件或对象的描述。
属性(attribute):即特征(feature),反映事件或对象在某方面的表现或性质的事项
属性空间(attribute space):即样本空间或输入空间,属性张成的空间
特征向量(feature vector):在样本空间中每个点对应的每个坐标向量
分类任务(classification):预测值为离散值
回归任务(regression):预测值为连续值
监督学习(supervised learning):训练数据拥有标记信息,包括分类和回归任务
无监督学习(unsupervised learning):训练数据集没有标记信息,包括聚类等
泛化能力(generalizaton):学得模型适用于新样本的能力
1.3 假设空间
归纳(induction):从特殊到一般
演绎(deduction):从一般到特殊
假设空间(hypothesis):即罗列出训练集中的所有可能情况并进行搜索
1.4 归纳偏好
归纳偏好(inductive bias):机器学习算法在学习过程中对某种类型假设的偏好
奥卡姆剃刀(Occam’s razor):若有多个假设与观察一致,则选择最简单的那个
“没有免费的午餐”定义(No Free Lunch Theorem,NFL):不同算法的期望性能相同,需要根据具体问题具体分析
1.5 发展历程
二十世纪五十年代:基于神经网络的“连接主义”(connectionism)出现
二十世纪六七十年代:基于逻辑表示的“符号主义”(symbolism)学习技术蓬勃发展
二十世纪八十年代:机器学习成为一个独立的学科领域
二十世纪九十年代中期:统计学习成为机器学习主流
二十一世纪初:以“深度学习”为代表的连接主义学习卷土重来