机器学习绪论

参考周志华西瓜书

一.概念

机器学习是一门致力于研究如何通过计算的手段，利用经验来改善系统自身的性能的学科。

机器学习研究的主要内容是关于在计算机上从数据中产生模型的算法，即学习算法。通过学习算法，计算机就能根据经验数据产生模型；在面对新情况时，模型会给我们提供相应的判断。

二.基本术语

数据：

收集的一组记录的集合称为 数据集

每条记录是关于一个事件或对象的描述称为 示例 或者 样本

样本中反应事件或对象在某方面的表现或性质的事项，像西瓜的色泽，敲声 称为 属性

属性上的取值，像色泽的青绿，乌黑 称为 属性值

机器从数据中学得模型的过程称为 学习 或 训练

训练使用的数据样本集合称为 训练集

训练样本所具有的结果信息，像好瓜，坏瓜 称为 标记（label）

按学习任务分类：

①按解决问题：

分类：预测的是离散值，像好瓜，坏瓜

回归：预测的是连续值，像西瓜成熟度0.95，0.37

聚类：将数据分成若干个组，每个组对应一些概念的划分，像本地瓜，外地瓜

②按分类数量：

二分类：只涉及两个类别分类的任务，通常分为正类和反类

多分类：设计多个类别分类的任务

③按训练数据：

监督学习：训练数据拥有标签

无监督学习：训练数据没有标签

没有免费午餐定理（NFL定理）：

算法的优劣要针对具体的学习问题。学习算法自身的归纳偏好与问题是否相匹配，起到决定性作用

三.发展历程

1950-1970年 推理期：赋予机器逻辑推理能力

1975 知识期：像专家系统，利用某种方法将专业领域的专家知识收集下来，并存储在程序中，然后利用程序代码模拟人类的思维（推理+搜索）过程，去尝试解决某些专业领域的问题。随着21世纪初的互联网普及，海量数据爆发使得专家系统面临知识工程瓶颈