简单线性回归（Simple Linear Regression）（附代码）

简单线性回归是最基础的一种回归模型，自变量只有一个，函数曲线为直线，因变量为连续型，自变量可以是连续的或者是离散的。函数表示如下：

其中 y 是因变量， x是自变量， β0 和 β1 属于起始值和系数，ε 为偏移量，为了使得到的函数模型更加准确，最后会加上偏移量。

线性回归一般使用最小二乘法来求解函数模型级求解 β0 和 β1 。 方法如下：最小二乘法

如图中四个点为数据（x,y）:（1,6）（2,5）（3,7）（4,10）。我们需要根据红色的数据来求蓝色的曲线。目前我们已知这四个点匹配直线y= β1 + β2x 。所以我们要找到符合这条直线的最佳情况，即最合适的β0 和 β1。

最小二乘法就是尽量取两边方差的最小值，这样可以找到最拟合的曲线。

然后我们我们同时对β0和β1求其偏导数

这样我们很容易就解除方程组的解

所以我们就得到了直线 y=3.5 + 1.4x

用Python和Java代码表示如下：

# -*- coding: utf-8 -*-
"""
Created on Thu Dec 01 00:02:49 2016

@author: steve
"""

def SLR(x,y):
    intercept = 0.0
    slope = 0.0
    n = len(x)

    sumx = 0.0
    sumy = 0.0
    sumx2 = 0.0
    
# 第一次循环，得到平均值
    for i in range(n):
        sumx += x[i]
        sumy += y[i]
        sumx2 += x[i]*x[i]

    xbar = sumx/n
    ybar = sumy/n

    xxbar = 0.0
    yybar = 0.0
    xybar = 0.0
    
# 第二次循环，得到方差
    for i in range(n):
        xxbar += (x[i] - xbar) * (x[i] - xbar);
        yybar += (y[i] - ybar) * (y[i] - ybar);
        xybar += (x[i] - xbar) * (y[i] - ybar);

# 计算斜率和intercept
    slope  = xybar / xxbar
    intercept = ybar - slope * xbar

    print "slope is {}, intercept is {}".format(slope, intercept)
## 其他统计变量我就不写了。
    
x=[1,2,3,4]
y=[6,5,7,10]
SLR(x,y)

package regression;

public class SLR {
    
    // 这是用二分法做的简单线性回归
    
    private final double intercept, slope;
    private final double r2;
    private final double svar0, svar1;
    
    public SLR(double[] x, double[] y) {
        
        if (x.length != y.length) {
            throw new IllegalArgumentException("lengths doesn't match!!!");
        }
        
        int n = x.length;
        
        // 第一次循环，找到 所有x和y的平均值
        
        double sumx = 0.0;
        double sumy = 0.0;
        double sumx2 = 0.0;
        
        for (int i=0; i<n; i++) {
            sumx += x[i];
            sumy += y[i];
            sumx2 += x[i]*x[i];
        }
        
        double xbar = sumx / n;
        double ybar = sumy / n;
        
        // 第二次计算，求出方差
        double xxbar = 0.0;
        double yybar = 0.0;
        double xybar = 0.0;
        for (int i = 0; i < n; i++) {
            xxbar += (x[i] - xbar) * (x[i] - xbar);
            yybar += (y[i] - ybar) * (y[i] - ybar);
            xybar += (x[i] - xbar) * (y[i] - ybar);
        }
        System.out.println(xxbar);
        System.out.println(yybar);
        System.out.println(xybar);
        slope  = xybar / xxbar;  //求偏导数的过程
        intercept = ybar - slope * xbar;

        // 其他的统计数据
        double rss = 0.0;      // residual sum of squares
        double ssr = 0.0;      // regression sum of squares
        for (int i = 0; i < n; i++) {
            double fit = slope*x[i] + intercept;
            rss += (fit - y[i]) * (fit - y[i]);
            ssr += (fit - ybar) * (fit - ybar);
        }

        int degreesOfFreedom = n-2;
        r2    = ssr / yybar;
        double svar  = rss / degreesOfFreedom;
        svar1 = svar / xxbar;
        svar0 = svar/n + xbar*xbar*svar1;        
        
    }
    
    public double intercept() {
        return intercept;
        
    }
    
    public double slope() {
        return slope;
        
    }
    
    public double R2() {
        return r2;
    }
    
    public double slopeStdErr() {
        return Math.sqrt(svar1);
    }
    
    public double interceptStdErr() {
        return Math.sqrt(svar0);
    }
    
    //这是预测方法，在机器学习中的函数
    public double predict(double x) {
        return slope*x + intercept;
    }
    
    public String toString() {
        StringBuilder s = new StringBuilder();
        s.append(String.format("%.2f n + %.2f", slope(), intercept()));
        s.append("  (R^2 = " + String.format("%.3f", R2()) + ")");
        return s.toString();
    }
    
}

这是一个回归总结的系列，每一篇我都会加上代码。参考了几篇论文，先开个头，后面我会一点点完善。我这渣渣编程水平也太差了~~Python给我写成这个鬼样子····人老了果然不适合写代码了~