机器学习笔记 周志华 第一章绪论

概念和术语

属性空间（attribute space)/样本空间（sample space)/输入空间：

属性张成的空间

特征向量（feature vector):

一个示例

标记（label):

关于示例结果的信息

样例（example)：

拥有了标记信息的示例

标记空间（label space)/输出空间：

所有标记的集合
监督学习（supervised learning)

分类（classification)——预测离散值

回归（regression)——预测连续值
无监督学习（unsupervised learning)

聚类（clustering)——训练数据没有标记信息

泛化（generalization)——学得模型适用于新样本的能力

独立同分布（independent and identically distributed i.i.d)

归纳偏好（inductive bias)

机器学习算法在学习过程中对某种类型假设的偏好，可以看作是在假设空间中对假设进行选择的“价值观”
即“什么样的模型更好”

建立归纳偏好的基本原则：奥卡姆剃刀（Occam’s razor)

若有多个假设与观察一致，则选最简单的那个

但需要注意的是，理论上而言，算法的总误差与算法本身的选择无关！他们的期望性能是相同的。即“没有免费的午餐定理”（No Free Lunch Theorem)。NFL定理有一个重要前提：所有“问题”出现的机会相同，所有问题同等重要。但实际情形不是这样的。因此这个定理最重要的寓意是要谈论算法的相对优劣，必须要针对具体的学习问题。学习算法本身的归纳偏好与问题是否相匹配，往往是决定性的。

发展历程

推理期——知识期——学习期

• 推理期

理论逻辑家（Logic Theorist),

通用问题求解（General Problem Solving)程序

基于神经网络的“连接主义”（connectionism)——感知机（Perceptron)基于逻辑表示的“符号主义”（symbolism)——结构学习系统

机器学习研究的划分：

从样例中学习/归纳学习**

在问题求解和规划中学习

通过观察和发现学习/类比学习

从指令中学习/示教学习

机械学习

其中应用最广的是广义的归纳学习。其主流技术的演进过程如下：

符号主义学习——决策树（decision tree)，基于逻辑的学习——归纳逻辑程序设计（Inductive Logic Programming)

基于连接主义的神经网络——产生“黑箱”模型，BP算法【局限性：“试错性”，需手工调整参数，参数设置缺乏理论指导】

统计学习（statistical learning)——支持向量机（Support Vector Machine),核方法（kernel methods)

深度学习——多层的神经网络，模型复杂度高，调参很重要。虽缺乏严格理论基础，但适用于工程实践。

应用现状与其他学科的关系

统计学——通过机器学习对数据挖掘发挥影响，机器学习和数据库是数据挖掘的两大支撑。