机器学习——绪论（一）

最新推荐文章于 2024-04-14 00:39:49 发布

Lmxum.

最新推荐文章于 2024-04-14 00:39:49 发布

阅读量284

点赞数 2

分类专栏：机器学习个人学习笔记文章标签：机器学习

本文链接：https://blog.csdn.net/qq_49613686/article/details/116212109

版权

机器学习个人学习笔记专栏收录该内容

1 篇文章 0 订阅

订阅专栏

摘要：机器学习定义，机器学习过程

参考：

（1）https://github.com/Vay-keen/Machine-learning-learning-notes

（2）《机器学习》周志华著，清华大学出版社

1.引言：

1.1机器学习定义：

研究如何通过计算的手段，利用经验来改善系统自身的性能的学科。（经验即数据）

另一本经典教材的作者Mitchell给出了一个形式化的定义，假设：

$\bullet$ P：计算机程序在某任务类T上的性能。

$\bullet$ T：计算机程序希望实现的任务类。

$\bullet$ E：表示经验，即历史的数据集。

若该计算机程序通过利用经验E在任务T上获得了性能P的改善，则称该程序对E进行了学习。

1.2机器学习研究主要内容

关于在计算机上从数据中产生“模型”(model)的算法，即“学习算法”(learning algorithm)

2.基本术语

2.1案例

假设我们收集了一批西瓜的数据，例如：（色泽=青绿;根蒂=蜷缩;敲声=浊响)， (色泽=乌黑;根蒂=稍蜷;敲声=沉闷)， (色泽=浅自;根蒂=硬挺;敲声=清脆)……

2.2基本术语

$\bullet$ 记录：每个元组（即每对括号内）是一条记录。

$\bullet$ 所有记录的集合为：数据集。

$\bullet$ 示例（instance）或样本（sample）：每一个记录可称为一个示例或样本，即关于一个事件或对象的描述。

有时将整个数据集亦称一个“样本”（因为他可看作对样本空间的一个采样）。

$\bullet$ 属性(attribute)/特征(feature)：反映事件或对象在某方面的表现或性质的事项，例如：色泽或敲声。

$\bullet$ 属性值(attribute)：属性上的取值，例如"青绿" "乌黑"。

$\bullet$ 样本空间(sample space)/属性空间(attribute space)/输入空间：属性张成的空间。

例如我们把"色泽" "根蒂" "敲声"作为三个坐标轴，则它们张成一个用于描述西瓜的三维空间，每个西瓜都可在这个空间中找到自己的坐标位置。

由于空间中的每个点对应一个坐标向量，因此我们也把一个示例称为一个 "特征向量" (feature vector)。

$\bullet$ 一个样本的特征数为：维数（dimensionality），该西瓜的例子维数为3，当维数非常大时，也就是现在说的“维数灾难”。

计算机程序学习经验数据生成算法模型（也称为“学习器”（learner））的过程中，训练过程中使用的数据称为"训练数据" (training data)，其中每个样本称为一个“训练样本" (training sample) ，亦称“训练示例”(training instance) 或“训练例”；同时在训练好模型后，我们希望使用新的样本来测试模型的效果，则每一个新的样本称为一个“测试样本”(testing sample)。定义：

$\bullet$ 所有训练样本的集合为：训练集（trainning set），[特殊]。

$\bullet$ 所有测试样本的集合为：测试集（test set），[一般]。

$\bullet$ 学得模型对应了关于数据的某种潜在的规律，因此亦称"假设" (hypothesis)。

$\bullet$ 这种潜在规律自身，则称为"真相"或"真实" (ground-truth)。

$\bullet$ 机器学习出来的模型适用于新样本的能力为：泛化能力（generalization），即从特殊到一般。

西瓜的例子中，我们是想计算机通过学习西瓜的特征数据，训练出一个决策模型，来判断一个新的西瓜是否是好瓜。可以得知我们“预测” (prediction)的是：西瓜是好是坏，即好瓜与差瓜两种，是离散值。同样地，也有通过历年的人口数据，来预测未来的人口数量，人口数量则是连续值。定义：

$\bullet$ 预测值为离散值的问题为：分类（classification）。

对只涉及两个类别的“二分类”(binary classification)任务，通常称其中一个类为“正类”(positive class)；另一个类为“反类”(negative class); 涉及多个类别时，则称为“多分类”(multi-class classification)任务。

$\bullet$ 预测值为连续值的问题为：回归（regression）。

一般地，预测任务是希望通过对训练集 {( $x_{1}$ , $y_{1}$ ) , ( $x_{2}$ , $y_{2}$ ) ,..., ( $x_{m}$ , $y_{m}$ )} 进行学习，建立一个从输入空间 $\chi$ 到输出空间 $\Upsilon$ 的映射 f: $\chi \mapsto \Upsilon$ . 对二分类任务，通常令 $\Upsilon$ = {-1, +1} 或 {0, 1}; 对多分类任务， $\vert \Upsilon \vert$ >2; 对回归任务， $\Upsilon$ = $\mathbb{R}$ ， $\mathbb{R}$ 为实数集。

我们预测西瓜是否是好瓜的过程中，很明显对于训练集中的西瓜，我们事先已经知道了该瓜是否是好瓜，学习器通过学习这些好瓜或差瓜的特征，从而总结出规律，即训练集中的西瓜我们都做了“标记”(label)，称为标记信息。拥有了标记信息的示例，则称为“样例”(example)。但也有没有标记信息的情形，例如：我们想将一堆西瓜根据特征分成两个小堆，使得某一堆的西瓜尽可能相似，即都是好瓜或差瓜，对于这种问题，我们事先并不知道西瓜的好坏，样本没有标记信息。定义：

$\bullet$ 一般地，用（ $x_{i}$ , $y_{i}$ ）表示第i个样例，其中 $y_{i} \in \Upsilon$ 是示例 $x_{i}$ 的标记， $\Upsilon$ 是所有标记的集合，亦称“标记空间”(label space)或“输出空间”。

$\bullet$ 训练数据有标记信息的学习任务为：监督学习（supervised learning），容易知道上面所描述的分类和回归都是监督学习的范畴。

$\bullet$ 训练数据没有标记信息的学习任务为：无监督学习（unsupervised learning），常见的有“聚类”(clustering)和关联规则。