概念比较_回归regression+分类calssification

在学习机器学习的过程中，经常会看到“回归（regression）”这个词，感觉很熟悉，但却说不清楚，于是做个整理。

---

回归和分类可以是一样的输入，都是为了预测，但它们的输出不同，可以把回归看作是连续数值输出，有着详细的确定的数值，而分类是离散数值输出（甚至可以直接将回归的输出离散化当作分类），没有回归那种逼近真实的效果，直接输出被极限化（比如0和1）的离散数值，可以说是为了分类目的而特化的回归。应用比如，在预测房价，回归模型给出17万（实际18万），分类模型不适用；在要给图片分类打标签的时候这种回归建模方法就不适用了，可以使用“逻辑回归”（数值归一，当作概率，设置阈值）实现分类，直接给出是或不是的结果。

再回头理解下“回归（regression）”概念，主要参考于百度百科，在统计学中，回归分析（regression analysis）指的是确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。回归分析按照涉及的自变量x的多少，分为一元回归和多元回归分析；按照因变量y的多少，可分为简单回归分析和多重回归分析；按照因变量y和自变量x之间的关系类型，可分为线性回归分析和非线性回归分析。 在大数据分析中，回归分析是一种预测性的建模技术，它研究的是因变量（目标）和自变量（预测器）之间的关系，这种技术通常用于预测分析，时间序列模型以及发现变量之间的因果关系。例如，司机的鲁莽驾驶与道路交通事故数量之间的关系，最好的研究方法就是回归。

简单而言，回归是在求取目标和其他相关因素之间的具体数学表达方程。

统计学回归方法有以下几种概念：1.Linear Regression线性回归；2.Logistic Regression逻辑回归；3.Stepwise Regression逐步回归；4.Ridge Regression岭回归；5.Polynomial Regression多项式回归；6.Lasso Regression套索回归；7.ElasticNet回归。交叉验证是评估预测模型好坏的方法之一，在实际过程中可能会出现这样的情况，一个不太强大的模型与具有高度统计学意义的模型相比，更易于实现；回归正则化方法（Lasso，Ridge和ElasticNet）在高维和数据集变量之间多重共线性情况下运行良好。

神经网络回归：将最后一层所有神经元全部连接到一个神经元上输出1个数值，前面所有的网络结构就看做是目标和其他相关因素的具体关系（神经网络表达某个函数）。如果要用作N分类，则可以将最后一层所有神经元连接到N个神经元上输出N个数值，表示N个类别得分。