统计学习笔记：分类、标注、回归问题的定义与区别

近期在学习李航老师著作的《统计学习方法》，根据书中所述内容，同时综合了网上总结的较好的知乎和博客，对分类、标注、回归三类问题的定义与区别进行整理，同时对三类问题的区别进行总结，尤其是分类问题与回归问题的区别。

 

1.分类问题

分类问题是监督学习的一个核心问题。在监督学习中，当输出变量取有限个离散值时，预测问题便成为分类问题。

监督学习从数据中学习一个分类决策函数或分类模型，称为分类器（classifier）。分类器对新的输入进行输出的预测，这个过程称为分类。

分类问题包括学习与分类两个过程。在学习的过程中，根据已知的训练样本数据集利用有效的学习方法学习一个分类器；在分类中，利用学习的分类器对新的输入实例进行分类。

评价分类器性能的指标一般是分类的准确率，其定义是：对于给定的测试数据集，分类器正确分类的样本数与总样本数之比。

对于二分类问题常用的评价指标是精确率（precision）与召回率（recall）。通常以关注的类为正类，其他类为负类，分类器在测试数据集上的预测或正确或不正确，4种情况出现的总数分别记作：

• TP —— 将正类预测为正类的数量；
• FN —— 将正类预测为负类的数量；
• FP —— 将负类预测为正类的数量；
• TN —— 将负类预测为负类的数量；

精确率真和召回率都高时，也会高。

许多的机器学习方法可以用来解决分类问题，包括近邻法、感知机、朴素贝叶斯法、决策树、逻辑斯谛回归模型、SVM、adaBoost、贝叶斯网络、神经网络等。

比如一个文本内容分类的例子。文本分类是根据文本的特征将其划分到已有的类中。输入是文本的特征向量，输出是文本的类别。通常把文本中的单词定义为特征，每个单词对应一个特征。单词的特征可以是二值的：如果单词在文本中出现则取值1，否则是0；也可以是多值的，表示单词在文本中出现的频率。形象地，如果“股票”“银行”“货币”这些词出现很多，这个文本可能属于经济类，如果“网球”“比赛”“运动员”这些词频繁出现，这个文本可能属于体育类。

 

2. 标注问题

标注问题也是一个监督学习问题。可以认为标记问题是分类问题的一个推广。

标注问题的输入是一个观测序列，输出的是一个标记序列或状态序列。

也就是说，分类问题和标注问题的区别是：分类问题的标签和输出都是一个值，而标注问题的标签和输出都是序列（一个向量），序列的每个值属于一种标记类型。

标注常用的机器学习方法有：隐性马尔可夫模型、条件随机场。

自然语言处理中的词性标注（part of speech tagging）就是一个典型的标注问题：给定一个由单词组成的句子，对这个句子中的每一个单词进行词性标注，即对一个单词序列预测其对应的词性标记序列。

 

3. 回归问题

回归问题也属于监督学习中的一类。回归用于预测输入变量与输出变量之间的关系，特别是当输入变量的值发生变化时，输出变量的值随之发生的变化。

回归模型正是表示从输入变量到输出变量之间映射的函数。回归问题的学习等价于函数拟合：选择一条函数曲线，使其很好地拟合已知数据且很好地预测未知数据。

回归问题按照输入变量的个数，可以分为一元回归和多元回归；按照输入变量与输出变量之间关系的类型，可以分为线性回归和非线性回归。

回归学习最常用的损失函数是平方损失，在此情况下，回归问题可以由著名的最小二乘法求解。

一个回归学习用于股票预测的例子：假设知道一个公司在过去不同时间点的市场上的股票价格（或一段时间的平均价格），以及在各个时间点之间可能影响该公司股份的信息（比如，公司前一周的营业额）。目标是从过去的数据学习一个模型，使它可以基于当前的信息预测该公司下一个时间点的股票价格。具体地，将影响股价的信息视为自变量（输入特征），而将股价视为因变量（输出的值）。将过去的数据作为训练数据，就可以学习一个回归模型，并对未来股份进行预测。实际我们知道想做出一个满意的股价预测模型是很难的，因为影响股份的因素非常多，我们未必能获得那些有用的信息。

 

4. 分类与回归的区别

分类问题与回归问题的区别如下：

因此，如何区分类与回归，看的不是输入，而是输出的连续与否。

输入变量与输出变量均为连续变量的预测问题是回归问题；
输出变量为有限个离散变量的预测问题成为分类问题；
输入变量与输出变量均为变量序列的预测问题成为标注问题。

例如：
预测明天的气温是多少度，这是一个回归任务；
预测明天是阴、晴还是雨，就是一个分类任务。

然后，摘录知乎上一位大神指出的关于logistic回归的误区：

有一个新手特别容易犯的错误就是，认为logistic回归属于回归。但是，
logistic回归不是回归是分类！ logistic回归不是回归是分类！ logistic回归不是回归是分类！
logistic回归只是用到了回归算法，但是其输出的结果是决策边界，是不连续的。

Logistc回归仅仅只是过程和线性回归一样，可以归类为GLM，可我们所要讨论的回归和分类，是仅仅对于输出而言的：就像你不能因为用于图像分类的卷积神经网络可以把最后的输出神经元数量换成1、将Softmax去掉并把loss换成MSE后能做回归，那么这样的用于分类的网络就应该是回归一样；在很大程度上，我们甚至可以认为分类和回归就只有是否存在“阈值判断”这么一点区别。

参考文献与转载链接：

[1] 《统计学习方法》，李航著，清华大学出版社

[2] https://blog.csdn.net/u011630575/article/details/78909803 

[3] https://www.zhihu.com/question/21329754，来源：知乎

[4] 作者：Chevalier Meirtz，链接：https://www.zhihu.com/question/21329754/answer/149416198，来源：知乎