python 最小二乘法的推导证明

转载来源：https://my.oschina.net/keyven/blog/526010
,
相应python代码来源-python最小二乘法拟合直线：
https://blog.csdn.net/m0_38128647/article/details/75689228

大家可以参考以上转载的来源，以下只是个人笔记记忆要点。




有了上述推导证明，普通最小二乘法一般形式可以写成（字母盖小帽表示估计值，具体参考应用概率统计）：

“线性”含义
线性回归问题中，“线性”的含义是指被估计参数β1 和β2 是线性相关的，而不关心解释变量与被解释变量以何种形式出现，例如y = kx + b，log(y) = kx + b，log(y) = klog(x) + b，etc. 下面列举一些常用的曲线方程：

1、双曲线 1/y = a + b/x

令y’=1/y，x’=1/x，则有y’=a+bx’

2、幂函数曲线y=axb

令y’=lny，x’=lnx，a’=lna，则有y’=a’ +bx’

3、指数函数曲线y=aebx

令y’=lny，x’=x，a’=a，则有y’=a’+b x’

4、负指数函数曲线y=aeb/x（同上）

5、对数函数y=a+blnx

令y’=y，x’=lnx，则有y’=a+bx’

6、S型（Logistic，逻辑斯蒂回归）曲线y=K/(1+Ae-λx)

令y’=ln((K-y)/y)，a=lnA，则有y’=a-λx

多重线性回归
多重回归研究的是变量y 与可控变量x1，x2，…，xk 之间的线性关系，假设

    根据线性代数，则有

    得到

    与普通最小二乘法推导证明相似，可以得到β 的最小二乘估计

此处不作证明，具体可参考《应用概率统计 张国权 著》第九章 回归分析。

转载来源：https://my.oschina.net/keyven/blog/526010