回归和分类问题的理解

回归和分类问题的理解

回归与分类的根本区别在于输出空间是否为一个度量空间
回归问题与分类问题本质上都是要建立映射关系：

而两者的区别则在于：
对于回归问题，其输出空间B是一个度量空间，即所谓“定量”。也就是说，回归问题的输出空间定义了一个度量$d=F(y_{true},y_{pred})$ 去衡量输出值与真实值之间的“误差大小”。例如：预测一瓶700毫升的可乐的价格（真实价格为5元）为6元时，误差为1；预测其为7元时，误差为2。这两个预测结果是不一样的，是有度量定义来衡量这种“不一样”的。（于是有了均方误差这类误差函数）。对于分类问题，其输出空间B不是度量空间，即所谓“定性”。也就是说，在分类问题中，只有分类“正确”与“错误”之分，至于错误时是将Class 5分到Class 6,还是Class 7，并没有区别，都是在error counter上+1。

在实际操作中，我们确实常常将回归问题和分类问题互相转化如（分类问题回归化；回归问题分类化）

1. Logistic Regression和Linear Regression:

   1. Linear Regression:输出一 个标量wx+b,这个值是连续值，所以可以用来处理回归问题
   2. Logistic Regression:把上面的WX+ b通过sigmoid函数映射到(0,1)上，并划分一个阈
      值， 大于阈值的分为-类,小于等于分为另-类,可以用来处理二=分类问题
      3.更进一 步:对于N分类问题,则是先得到N组w值不同的wx+b,然后归- -化,比如用
      softmax函数,最后变成N个类上的概率，可以处理多分类问题

2. Support Vector Regression和Support Vector Machine:

   1. SVR:输出wx+b,即某个样本点到分类面的距离，是连续值，所以是回归模型
   2. SVM:把这个距离用sign()函数作用，距离为正(在超平面- -侧)的样本点是一类,为负的是另一类,所以是分类模型

3. 前馈神经网络用于分类和回归:

   1. 用于回归:最后- -层有m个神经元，每个神经元输出一 个标量，m个神经元的输出可以看做向量v,现全部连到-个神经元上，则这个神经元输出wv+b,是一一个连续值，可以处理回归问题，跟上面Linear Regression思想一样
   2. 用于N分类:现在这m个神经元最后连接到N个神经元，就有N组w值不同的wv+b,同理可以归一化(比如用softmax)变成N个类上的概率(补充一下，如果不用softmax,而是每个wx+b用一个sigmoid,就变成多标签问题，跟多分类的区别在于，样本可以被打上多个
      标签)

4. 循环神经网络 (如RNN系列)用于分类和回归:

   1. 用于回归和分类:跟CNN类似，输出层的值y = wv+b,可做分类可做回归，只不过区别在于，RNN的输出跟时间有关，即输出的是{y(t), y(t+ 1…}序列.