初识机器学习-监督学习与无监督学习

初识机器学习

    机器学习主要分为：监督学习，无监督学习，半监督学习等。

监督学习（supervised learning）

---

    从给定的训练数据集中训练出一个函数，当新的数据到来时，就可根据这个函数预测出结果。

    监督学习的训练集要求包括输入输出（特征和目标）。训练集中的目标是由人标注的。

监督学习就是最常见的分类问题：

    通过已有的训练样本（已知数据及其对应的输出）去训练得到一个最优模型（最优表示这个函数在某个评价准则下是最优的），再利用这个模型将所有的输入映射为相应的输出，对输出进行简单的判断从而实现分类的目的。

监督学习的目标往往是让计算机去学习我们已经创建好的分类系统（模型）。

    监督学习是训练神经网络和决策树的常见技术。这两种技术均高度依赖于确定的分类系统给出的信息:

    对于神经网络，分类系统利用信息判断网络的错误，然后不断调整网络参数;

    对于决策树，分类系统用它来判断哪些属性提供了最多的信息。

常见的有监督学习算法：回归分析和统计分类

    最典型的算法是KNN(也叫K近邻)和SVM（中文叫支持向量机（个人感觉名字很奇怪））。

    监督学习最常见的就是：regression（统计）&classification（分类）

Regression：Y是实数vector。回归问题，就是拟合(x,y)的一条曲线，使得价值函数 L最小

Classification：Y是一个有穷数，可以看做类标号，分类问题首先要给定有lable的数据训练分类器，因此属于有监督学习过程。分类过程中价值函数L(X,Y) 是X属于类Y的概率的负对数。

    其中fi(X)=P(Y=i/X)。

机器学习中分类与回归问题的区别与联系

    从根本上说，分类是关于预测标签，而回归是关于预测数量。

在本文中，你将发现分类和回归问题之间的差异。

在本文中，你将了解：

• 预测建模是关于学习从输入到输出的映射函数的问题，称为函数逼近。
• 分类是预测示例的离散类标签输出的问题。
• 回归是预测例子的连续数量输出的问题。

1.函数逼近

预测建模是使用历史数据开发模型以对我们没有答案的新数据进行预测的问题。

    预测建模可以描述为从输入变量（X）到输出变量（y）近似映射函数（f）的数学问题。这被称为函数逼近的问题。

建模算法的工作是：找到我们可以给出的时间和资源的最佳映射函数。

    如果你想了解有关应用机器学习中近似函数的更多信息，可以参阅：机器学习算法如何工作（英文的）

通常，我们可以将所有函数逼近任务划分为分类任务和回归任务。

2.分类预测建模

    分类预测建模是将输入变量（X）到离散输出变量（y）的映射函数（f）近似的任务。

    输出变量通常称为标签或类别。映射函数预测给定观察的类别或类别。

• 分类问题要求将示例分为两个或更多个类中的一个。
• 分类可以具有实值或离散输入变量。
• 两个类的问题通常被称为两类或二元分类问题。
• 两个以上类的问题通常被称为多类分类问题。
• 为示例分配多个类的问题称为多标签分类问题。

分类模型通常将连续值预测为：属于每个输出类的给定示例的概率。

    概率可以被解释为属于每个类的给定示例的可能性。通过选择具有最高概率的类标签，可以将预测概率转换为类值。

    例如，特定的文本电子邮件可以被指定为0.1的概率为“垃圾邮件”而0.9为“非垃圾邮件”。我们可以通过选择“非垃圾邮件”标签将这些概率转换为类别标签，因为它具有最高的预测可能性。

    有许多方法可以估计分类预测模型的技能，但最常见的可能是计算分类准确性。

3.分类准确度

所有预测中正确分类的例子的百分比。

    例如，如果分类预测模型做出5个预测，其中3个是正确的，其中2个是不正确的，那么基于这些预测的模型的分类准确性将是：

accuracy = correct predictions / total predictions * 100accuracy = 3 / 5 * 100accuracy = 60%

能够学习分类预测模型的算法称为分类算法。

4.回归预测建模

    回归预测建模是将输入变量（X）的映射函数（f）近似为连续输出变量（y）的任务。

例如，可以预测房屋可以出售特定的美元价值，可能在100,000美元到200,000美元的范围内。

• 回归问题需要预测数量。
• 回归可以具有实值或离散输入变量。
• 多输入变量的问题通常被称为多元回归问题。
• 输入变量按时间排序的回归问题称为时间序列预测问题。

    由于回归预测模型预测数量，因此必须将模型的技能报告为这些预测中的错误。
能够学习回归预测模型的算法称为回归算法。

线性回归是一种回归算法，而逻辑回归是一种分类算法。

5.分类与回归

分类预测建模问题与回归预测建模问题不同。

• 分类是预测离散类标签的任务。
• 回归是预测连续数量的任务。

分类和回归算法之间存在一些重叠; 例如：

• 分类算法可以预测连续值，但是连续值是类标签的概率的形式。
• 回归算法可以预测离散值，但是以整数量的形式预测离散值。

    一些算法可用于分类和回归，只需很少的修改，例如决策树和人工神经网络。一些算法不能或不能容易地用于两种问题类型，例如用于回归预测建模的线性回归和用于分类预测建模的逻辑回归。

重要的是，我们评估分类和回归预测的方式各不相同，并且不重叠，例如：

• 可以使用准确度评估分类预测，而回归预测则不能。
• 可以使用均方根误差来评估回归预测，而分类预测则不能。

6.在分类和回归问题之间转换

在某些情况下，可以将回归问题转换为分类问题。例如，要预测的数量可以转换为离散桶。

例如，$ 0到$ 100之间连续范围内的金额可以转换为2个桶：

• 0级：0美元到49美元
• 1级：50美元到100美元

这通常称为离散化，结果输出变量是标签具有有序关系（称为序数）的分类。

在某些情况下，分类问题可以转换为回归问题。例如，标签可以转换为连续范围。

或者，可以对类值进行排序并映射到连续范围：

• 1级$ 0到$ 49
• 2级$ 50至$ 100

    如果分类问题中的类标签不具有自然序数关系，则从分类到回归的转换可能导致令人惊讶或差的性能，因为模型可能学习从输入到连续输出范围的错误或不存在的映射。

无监督学习（unsupervised learning）

    输入数据没有被标记，也没有确定的结果。样本数据类别未知，需要根据样本间的相似性对样本集进行分类（聚类，clustering）试图使类内差距最小化，类间差距最大化。

    通俗点将就是实际应用中，不少情况下无法预先知道样本的标签，也就是说没有训练样本对应的类别，因而只能从原先没有样本标签的样本集开始学习分类器设计。

    非监督学习目标不是告诉计算机怎么做，而是让计算机自己去学习怎样做事情。非监督学习有两种思路。第一种思路是在指导Agent时不为其指定明确分类，而是在成功时，采用某种形式的激励制度。需要注意的是，这类训练通常会置于决策问题的框架里，因为它的目标不是为了产生一个分类系统，而是做出最大回报的决定，这种思路很好的概括了现实世界，agent可以对正确的行为做出激励，而对错误行为做出惩罚。

两者的不同点

1. 有监督学习方法必须要有训练集与测试样本。在训练集中找规律，而对测试样本使用这种规律。而非监督学习没有训练集，只有一组数据，在该组数据集内寻找规律。

2. 有监督学习的方法就是识别事物，识别的结果表现在给待识别数据加上了标签。因此训练样本集必须由带标签的样本组成。而非监督学习方法只有要分析的数据集的本身，预先没有什么标签。如果发现数据集呈现某种聚集性，则可按自然的聚集性分类，但不予以某种预先分类标签对上号为目的。

3. 非监督学习方法在寻找数据集中的规律性，这种规律性并不一定要达到划分数据集的目的，也就是说不一定要“分类”。这一点是比有监督学习方法的用途要广。 譬如分析一堆数据的主分量，或分析数据集有什么特点都可以归于非监督学习方法的范畴。

4. 用非监督学习方法分析数据集的主分量与用K-L变换计算数据集的主分量又有区别。后者从方法上讲不是学习方法。因此用K-L变换找主分量不属于无监督学习方法，即方法上不是。而通过学习逐渐找到规律性这体现了学习方法这一点。在人工神经元网络中寻找主分量的方法属于无监督学习方法。

何时采用哪种方法

    简单的方法就是从定义入手，有训练样本则考虑采用监督学习方法；无训练样本，则一定不能用监督学习方法。

    但是，现实问题中，即使没有训练样本，我们也能够凭借自己的双眼，从待分类的数据中，人工标注一些样本，并把它们作为训练样本，这样的话，可以把条件改善，用监督学习方法来做。对于不同的场景，正负样本的分布如果会存在偏移（可能大的偏移，可能比较小），这样的话，监督学习的效果可能就不如用非监督学习了。