对于线性回归最简单的就是一元线性回归,我们先拿一元线性回归作为入门的例子,等理解了这个,对于多元线性回归也就好理解了,都是一样的道理(对不起大家字写的不好!)
官方定义
百科的定义:线性回归是利用数理统计中回归分析,来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法,运用十分广泛。其表达形式为y = wx+b+e,e为误差服从均值为0的正态分布(此处我加上了偏置b,定义上是没有的,因为在最终的求解中我们需要求得b的解,所以是需要的。)。
一元线性函数:y = wx + b这个式子比较简单,相信大家在初高中都学过,就是由w、b控制二维空间中的一条直线.而y' = w'x + b' + e 就是我们根据样本数据拟合出来的一条直线,e为误差,实际上 y=y'.
一元线性回归推导
从误差着手:
![a159d226a9f73a2e3889188ae486bb84.png](https://i-blog.csdnimg.cn/blog_migrate/7a7c1b104adc29af8854308cc078daf6.jpeg)
----1
式中ε为误差
由于误差服从正太分布(高斯分布),正太分布概率密度函数为: