机器学习（西瓜书）学习笔记一

绪论术语

摘要

本文主要是学习机器学习绪论课程进行一些基本术语的笔记整理与记录

（1）数据集：示例或样本的集合
（2）示例/样本：关于一个事件或对象的描述
（3）属性/特征：反应事件或对象在某方面的表现或性质的事项
（4）属性值：属性的取值
（5）属性/样本/输入空间：属性张成的空间
（6）特征向量：属性空间中每个事件/对象对应其中一个点，该点又可表示一个坐标向量
（7）从数据中学得模型的过程称为学习或训练，这个过程通过执行某个学习算法完成
（8）标记：关于示例结果的信息
（9）样例：拥有了标记信息的示例
（10）分类：预测离散值的学习任务
（11）回归：预测连续值的学习任务
（12）二分类：只涉及两个类别的分类任务，通常称其中一个为“正类”，另一个为“反类”(负类)
（13）多分类：涉及多个类别
（14）一般的预测任务是希望通过对训练集进行学习，建立一个输入空间X到输出空间Y的映射。其中二分类Y={-1，+1}或{0，1}，多分类|Y|>2,回归任务Y=R
（15）测试：学得模型后，使用其进行预测的过程成为测试
（16）测试样本：被预测的样本
（17）根据训练数据是否拥有标记信息，学习任务可大致分为两大类：监督学习，无监督学习。分类和回归是前者的代表，聚类是后者的代表
（18）假设空间：所有假设组成的空间。假设的表示一旦确定，假设空间及其规模大小也就确定了
（19）版本空间：多个假设与训练集一致，这个与训练集一致的假设的集合就是版本空间。（搜索过程中可不断删除与正例不一致的假设和与返利一致的假设。最终将获得与训练集一致的假设）
（20）归纳偏好：机器学习算法在学习过程中对某种类型假设的偏好，任何一个有效的机器学习算法必有其归纳偏好。正是由于“版本空间”，所以需要有归纳偏好
（21）奥卡姆剃刀是一种在自然科学研究中常用的常用最基本的原则：若有多个假设和观察一致，则选择最简单的那个
（22）算法的归纳偏好是否与问题本身匹配，大多数时候直接决定了算法能否取得好的性能。
（23）NEL定理（No Free Lunch Theorem:没有免费的午餐）如果一个学习算法a在某方面比另一个学习算法b好，那么必然存在另一些问题，在那里，b算法比a好。
表明脱离具体问题空泛谈论什么学习算法更好毫无意义，因为若考虑所有潜在的问题，则所有学习算法一样好（总误差与学习算法无关）
————————————————————————
（24）从数据中学的模型的过程称为“学习”或“训练”，该过程通过执行某个算法来完成。
（25）聚类：聚类试图将数据集中的样本划分为若干个通常是不相交的子集，每个子集称为一个“簇”。
————————————————————————
（26）训练集：训练模型参数是采用的数据集
（27）测试集：验证模型性能时采用的数据集
（28）假设：数据中潜在的某种规律（如，天气数据中潜在的季节周期性）
（29）真值：潜在规律的自身称为“真相”或“真实”，在训练集中常被用作周期 信息。
(30) 监督学习：有标注信息的学习过程
(31) 无监督学习：无标注信息的学习过程
(32) 强化学习：以试错为主的学习方法
（33）归纳：从特殊到一般的“泛化”过程，即：从具体的事实归结出一般性规律
（34）演绎：从一般到特殊的”特化“过程，即：从基础原理演绎出具体情况
（35）学习过程：可看作在所有假设组成的空间中进行搜索的过程
（36）搜索目标：找到与训练集匹配的假设。搜索方法：自顶向下->从一般到特殊；自底向上->从特殊到一般

---

机器学习的三个学派：
符号主义；连接主义；行为主义
机器学习的三个时期:
推理期；知识期；学习期