机器学习笔记-线性回归

线性回归概述

概述

原理

$X1$是年龄特征，$X2$是业绩特征，$Y$是收入

年龄	业绩	收入
28	700	9000
45	800	8000
33	400	6000
40	350	4000
20	403	6000
39	250	8000

${\theta }_0$是偏置参数，${\theta }_1$是年龄参数，${\theta }_2$是成绩参数，找一个高维的的线/面拟合数据
$$h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2$$
转换为矩阵表达为：
$$h_{\theta }(x)=\sum _{i=0}^m{\theta }_i{x}_i={\theta }^{T}x$$
预测值与真实值之间的误差用$ϵ$表示：
$$y^{(i)}={\theta }^T{x}^{(i)}+{ϵ}^{(i)}$$
误差${ϵ}^{(i)}$是独立并且具有相同服从均值为0，方差为${\theta }^2$的高斯分布，独立：甲和乙没有关系，不互相影响，同分布：甲和乙都是在这个公司工作，由于${ϵ}^{(i)}$服从高斯分布，因此：
$$p\left({ϵ}^{(i)}\right)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{\left(-\frac{{\left({ϵ}^{(i)}\right)}^2}{2{\sigma }^2}\right)}$$
将$y^{(i)}={\theta }^T{x}^{(i)}+{ϵ}^{(i)}$代入上式：
$$p\left(y^{(i)}|x^{(i)};\theta \right)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{\left(-\frac{{\left(y^{(i)}-{\theta }^T{x}^{(i)}\right)}^2}{2{\sigma }^2}\right)}$$
什么样的参数和我们的数据组合恰好是真实值，用似然函数：
$$L(\theta )=\prod _{i=1}^{m}p\left(y^{(i)}|x^{(i)};\theta \right)=\prod _{i=1}^m\frac{1}{\sqrt{2\pi }\sigma }{e}^{\left(-\frac{{\left(y^{(i)}-{\theta }^T{x}^{(i)}\right)}^2}{2{\sigma }^2}\right)}$$
为求解方便转化为对数似然函数：
$$\begin{array}{rl}logL(\theta )& =log\prod _{i=1}^m\frac{1}{\sqrt{2\pi }\sigma }{e}^{\left(-\frac{{\left(y^{(i)}-{\theta }^T{x}^{(i)}\right)}^2}{2{\sigma }^2}\right)}\\ & =\sum _{i=0}^{m}log\left(\frac{1}{\sqrt{2\pi }\sigma }{e}^{\left(-\frac{{\left(y^{(i)}-{\theta }^T{x}^{(i)}\right)}^2}{2{\sigma }^2}\right)}\right)\\ & =mlog\frac{1}{\sqrt{2\pi }\sigma }-\frac{1}{2{\sigma }^2}\sum _{i=0}^m(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2\end{array}$$
转换为的目标函数：
$$\begin{array}{rl}J(\theta )& =\frac{1}{2}\sum _{i=0}^m(y^{(i)}-{\theta }^T{x}^{(i)})\\ & =\frac{1}{2}\sum _{i=0}^m(y^i-h_{\theta }(x^i){)}^2\end{array}$$

批量梯度下降：
$$\begin{array}{rl}\frac{\partial J(\theta )}{\partial (\theta )}& =-\sum _{i=0}^m(y^i-h_{\theta }(x^i))x_j^i\\ {\theta }_j^{\prime }& ={\theta }_j+\sum _{i=0}^m(y^i-h_{\theta }(x^i))x_j^i\end{array}$$
批量梯度下降容易得到最优解，但每次考虑所有样本，速度慢
随机梯度下降：
$${\theta }_j^{\prime }={\theta }_j+(y^i-h_{\theta }(x^i))x_j^i$$
随机梯度下降每次找一个样本，迭代速度快，但每次不一定朝着收敛的方向
小批量梯度下降：
$${\theta }_j^{\prime }={\theta }_j-\alpha \frac{1}{10}\sum _{k=i}^{i+9}(y^{(k)}-h_{\theta }(x^{(k)}))x_j^k$$
每次更新选择一小部分数据来算，实用

• 学习率：尽量选择小一些的学习率
• 批处理数量：32,64,128都课可以
• 评估方法$R^2$，$R^2$取值越接近于1，模型拟合越好:
  $$1-\frac{{\sum }_{i=0}^m({\hat{y}}_i-y_i{)}^2}{{\sum }_{i=0}^m(y_i-{\overline{y}}_i{)}^2}$$

实现代码

class linear(object):
    def __init__(self):
        self.W = None
        self.b = None
    
    def loss(self,X,y):
        num_feature  = X.shape[1]
        num_train = X.shape[0]
        # 2.1 计算当前权重及偏置下预测值
        h = X.dot(self.W) + self.b
        # 2.2 计算损失值
        loss = 0.5 *np.sum(np.square(h - y)) / num_train
        # 2.3 计算当前梯度
        dW = X.T.dot((h-y)) / num_train
        db = np.sum((h-y)) / num_train
        
        return loss,dW,db
        
    def train(self,X,y,learn_rate = 0.001,iters = 10000):
        num_feature = X.shape[1]
        # 1.初始化权重参数
        self.W = np.zeros((num_feature,1))
        # 1.初始化偏置参数
        self.b = 0
        loss_list = []
        
        for i in xrange(iters):
            # 2.计算损失值
            loss,dW,db = self.loss(X,y)
            loss_list.append(loss)
            # 3.更新权重与偏置参数
            self.W += -learn_rate*dW
            self.b += -learn_rate*db
            
            if i%500 == 0:
                print 'iters = %d,loss = %f' % (i,loss)
        return loss_list
        
    def predict(self,X_test):
        y_pred = X.dot(self.W) + self.b
        return y_pred
    
    pass