回归与分类区别

“回归与分类的根本区别在于输出空间是否为一个度量空间。”

我们不难看到，回归问题与分类问题本质上都是要建立映射关系

• 对于回归问题，其输出空间B是一个度量空间，即所谓“定量”。也就是说，回归问题的输出空间定义了一个度量  去衡量输出值与真实值之间的“误差大小”。例如：预测一瓶700毫升的可乐的价格（真实价格为5元）为6元时，误差为1；预测其为7元时，误差为2。这两个预测结果是不一样的，是有度量定义来衡量这种“不一样”的。（于是有了均方误差这类误差函数）。
• 对于分类问题，其输出空间B不是度量空间，即所谓“定性”。也就是说，在分类问题中，只有分类“正确”与“错误”之分，至于错误时是将Class 5分到Class 6,还是Class 7，并没有区别，都是在error counter上+1。

而非很多回答所提到的“连续即回归，离散即分类”。

事实上，在实际操作中，我们确实常常将回归问题和分类问题互相转化（分类问题回归化：逻辑回归；回归问题分类化：年龄预测问题——>年龄段分类问题），但这都是为了处理实际问题时的方便之举，背后损失的是数学上的严谨性。

回归方法处理分类问题本质上就是把没有度量的“类标签”赋予一个连续度量，常见的选择就是概率。例如给出三个样本，其原始标签是“类A、类B、类C”，转化后的新标签就是【1，0，0】，【0，1，0】，【0，0，1】（对就是onehot编码）。最后通过回归建立一个误差函数最小的拟合模型，然后比如说该模型对测试样本输出为【0.0914，0.2587，0.8321】则代表了该样本属于每一类的概率，然后视分类判决依据将该样本分至相应类，（若按最大似然标准，则此处样本归为类C）。现在多分类所采用的softmax就是这么做的。

回归和分类的区别就是评价体系的区别，和离散还是连续没有关系，举个例子，请问预测明天是【晴天、阴天、雨天】是个回归问题还是分类问题？回答这个问题不是看数据集是离散的还是连续的啊，而是把雨天误分为晴天和把雨天误分为阴天这两种情况的“错误程度”是否相当，若是则是分类问题，若不是则是回归问题。

 参考：

https://www.zhihu.com/question/21329754