线性回归公式法推导

返回目录

输入与输出满足线性关系，且输出为一系列连续的值。
则假设函数：
$$h(\vec{x})={\vec{\theta }}^T\vec{x}$$
其中：
$$\begin{array}{r}\vec{x}=[x_0,x_1,...,x_n{]}^T\in {\mathbb{R}}^{(n+1)\times 1}\\ \vec{\theta }=[{\theta }_0,{\theta }_1,...,{\theta }_n{]}^T\in {\mathbb{R}}^{(n+1)\times 1}\\ （x_0=1,n为特征个数）\end{array}$$
代价函数：
$$J(\vec{\theta })=\frac{1}{2m}\sum _{i=1}^{i=m}(h({\vec{x}}^{(i)})-y^{(i)}{)}^2$$
其中：
$$\begin{array}{r}\vec{y}=[y^{(1)},y^{(2)},...,y^{(m)}{]}^T\in {\mathbb{R}}^{m\times 1}\\ （m为测试样本个数）\end{array}$$
要使代价函数最小，即取极值。此时满足：
$$\begin{array}{rl}\frac{dJ(\vec{\theta })}{d\vec{\theta }}& =0\\ \frac{d}{d\vec{\theta }2m}\sum _{i=1}^{i=m}({\vec{\theta }}^T{\vec{x}}^{(i)}-y^{(i)}{)}^2& =0\\ \frac{1}{m}\sum _{i=1}^{i=m}({\vec{\theta }}^T{\vec{x}}^{(i)}-y^{(i)})\frac{d({\vec{\theta }}^T{\vec{x}}^{(i)})}{d\vec{\theta }}& =0\end{array}$$
因为
$$\frac{d({\vec{\theta }}^T{\vec{x}}^{(i)})}{d\vec{\theta }}=\frac{d({\theta }_0{\vec{x}}_0^{(i)}+{\theta }_1{\vec{x}}_1^{(i)}+...+{\theta }_n{\vec{x}}_n^{(i)})}{d\vec{\theta }}$$
所以
$$\frac{\partial ({\vec{\theta }}^T{\vec{x}}^{(i)})}{\partial {\theta }_j}={\vec{x}}_j^{(i)}$$
故要使代价函数最小：
$$\begin{array}{rl}{\vec{\theta }}^T{\vec{x}}^{(i)}-y^{(i)}& =0\\ ({\vec{x}}^{(i)}{)}^T\vec{\theta }=(y^{(i)}{)}^T& =y^{(i)}\end{array}$$
有
$$\left(\begin{array}{c}({\vec{x}}^{(1)}{)}^T\vec{\theta }\\ ({\vec{x}}^{(2)}{)}^T\vec{\theta }\\ ⋮\\ ({\vec{x}}^{(m)}{)}^T\vec{\theta }\end{array}\right)=\left(\begin{array}{c}{y}^{(1)}\\ y^{(2)}\\ ⋮\\ y^{(m)}\end{array}\right)$$
得到
$$X\vec{\theta }=\vec{y}(X\in {\mathbb{R}}^{m\times (n+1)})$$
求解$\theta$：
$$\vec{\theta }=(X^{T}X{)}^{-1}{X}^T\vec{y}$$
python实现：

import numpy as np
import matplotlib.pyplot as plt

def linear_regression(x_in, y_in):
    return np.linalg.pinv(x_in.T * x_in)*x_in.T*y_in

if __name__ == '__main__':
    m = 30
    x0 = np.ones((m, 1))
    x1 = np.arange(1, m+1).reshape(m, 1)
    x_in = np.mat(np.hstack((x0, x1)))
    theta = np.mat([5, 0.5]).reshape(2, 1)
    y_in = x_in*theta + np.random.randn(m).reshape(m, 1)
    plt.scatter(x1, np.array(y_in))
    res_theta_formula = linear_regression(x_in, y_in)
    plt.plot(x1, np.array(x_in*res_theta_formula), color='r')
    diff = x_in*res_theta_formula-y_in 
    plt.title('cost: %f' % ((diff.T*diff)[0][0]/(2*m)))
    plt.show()

结果分析：

优点：1.不用归一化。2.不需要迭代。

缺点：1.当n过大时，计算速度慢$(n>10^6)$。2.可逆函数不一定存在。

不可逆原因：1.不同特征线性相关（删除线性相关特征）。2.$m<n$（通过正则化解决）

返回目录