机器学习--回归分析--总结

首先透过现象看本质，回归分析的定义到底是什么？

1.回归定义

https://baike.baidu.com/item/%E5%9B%9E%E5%BD%92%E5%88%86%E6%9E%90/2625498?fr=aladdin提出

在统计学中，回归分析（regression analysis)指的是确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。回归分析按照涉及的变量的多少，分为一元回归和多元回归分析；按照因变量的多少，可分为简单回归分析和多重回归分析；按照自变量和因变量之间的关系类型，可分为线性回归分析和非线性回归分析。

https://www.zhihu.com/question/30123729提出

高尔顿最著名的发现之一是他发现了父亲的身高和儿子的身高之间存在着某种给定的关系，他通过进一步的研究发现了：事实上子辈的平均身高是其父辈平均身高以及他们所处族群平均身高的加权平均和。

正如下面有些答案中所提到的那样，他把这种趋势平均化的现象写到了自己1886年的论文中。论文的全名叫：Regression towards Mediocrity in Hereditary Stature. 这篇论文当年被发在了大不列颠以及爱尔兰人类研究学院期刊上。我们现今把论文中的这种“回归”现象称为：均值回归或者平庸回归（reversion to the mean/reversion to mediocrity）。背后的意义是说：哪怕单看一组父亲和孩子的身高，两个人的身高可能差异很大，但是从整个人群上来看，父亲和孩子的身高分布应该是很相近的。

2.回归问题

https://zhuanlan.zhihu.com/p/127972563提出

回归问题是机器学习三大基本模型中很重要的一环，其功能是建模和分析变量之间的关系。

回归问题多用来预测一个具体的数值，如预测房价、未来的天气情况等等。例如我们根据一个地区的若干年的PM2.5数值变化来估计某一天该地区的PM2.5值大小，预测值与当天实际数值大小越接近，回归分析算法的可信度越高。

面对一个回归问题，我们可简要描述其求解流程：

1. 选定训练模型，即我们为程序选定一个求解框架，如线性回归模型(Linear Regression)等。
2. 导入训练集 train_set，即给模型提供大量可供学习参考的正确数据。
3. 选择合适的学习算法，通过训练集中大量输入输出结果让程序不断优化输入数据与输出数据间的关联性，从而提升模型的预测准确度。
4. 在训练结束后即可让模型预测结果，我们为程序提供一组新的输入数据，模型根据训练集的学习成果来预测这组输入对应的输出值。

3.回归模型种类

3.1线性回归

 

3.2逻辑回归