机器学习：回归预测连续与离散的深度剖析----看完完全理解了回归是什么东西了！

回归的预测完整过程

前提：

1.线性回归与非线性回归概念

要解释线性回归和非线性回归首先我们要理解这两个词

(1):什么是回归(regression)？

由于是外国人命名的，我们找其根源只能从英文单词开始入手，regression的词根有重复的意思
统计学家在很久以前对于一些混乱的，看似无规律的，复杂的家族之间身高的数据中，不断统计提取，发现了一些规律，父亲身高高的，孩子的身高趋于下降，父亲身高矮的，孩子的身高趋于上升，最终发现个人的身高往往趋近于整个种群的身高平均值，仿佛自然有种约束力，将一切数值回归于某一个值。我们把那个平均值认为是无序数据之间遵循的一种规律。
这是被称之为回归的原因。
而回归的目的就是要在看似无规律的数据中找到其相互变量之间的约束规则的过程。
因此我们把关注点放在如何找到无序数据的均值上，找到均值意味着就找到了规律。
根据小学知识，我们很明白，均值的求法即为对每个变量求和再除以变量的个数
即：(x1+x2+x3+……+xn)/n--------得到均值y。
但是现实生活中。往往各个变量或者说各个影响结果的特征因素的权重是不一样的
因此我们将公式改写为：y = w0 + w1x1 + w2x2 + w3x3 + w4x4 + w5x5 + w6x6
使变量之间的权重系数各不一样以此来模拟现实。
这就是多元回归方程。
显然，若是只有一个x1特征，那么就是一元回归。

(2):什么是线性(linear)？

我查了维基，线性这个词对于线性回归方程来说，不是指的特征，而是指的参数theta。
所以y = ax + b 和 y = ax^2 + b 对于这两个方程来说都为线性回归方程。
原因很简单，多项式的特征也可以写成y = w0 + w1x1之类的形式，本质是一样的
而那什么是非线性的呢，
非线性不是由简单的加法和乘法组成，类似之后要讲的
logistic回归(sigmoid函数):
$$f(x)=\frac{1}{1+e^{-x}}$$

傅里叶函数：
$${\theta }_1$$