7.2简单线性回归算法实现--python机器学习

参考彭亮老师的视频教程：转载请注明出处及彭亮老师原创
视频教程： http://pan.baidu.com/s/1kVNe5EJ

1. 简单线性回归模型举例：

汽车卖家做电视广告数量与卖出的汽车数量：

1.1 如何练处适合简单线性回归模型的最佳回归线？

使sum of squares最小

1.1.2 计算

分子 = (1-2)(14-20)+(3-2)(24-20)+(2-2)(18-20)+(1-2)(17-20)+(3-2)(27-20)

      = 6 + 4 + 0 + 3 + 7

      = 20

分母 = （1-2）^2 + (3-2)^2 + (2-2)^2 + (1-2)^2 + (3-2)^2

       = 1 + 1 + 0 + 1 + 1

       4

b1 = 20/4  =5

b0 = 20 - 5*2 = 20 - 10 = 10

1.2 预测：

假设有一周广告数量为6，预测的汽车销售量是多少？

x_given = 6

Y_hat = 5*6 + 10 = 40

1.3 Python实现：

import numpy as np

def fitSLR(x, y):

    n = len(x)

    dinominator = 0

    numerator = 0

    for i in range(0, n):

        numerator += (x[i] - np.mean(x))*(y[i] - np.mean(y))

        dinominator += (x[i] - np.mean(x))**2

    b1 = numerator/float(dinominator)

    b0 = np.mean(y)/float(np.mean(x))

    return b0, b1

def predict(x, b0, b1):

    return b0 + x*b1

x = [1, 3, 2, 1, 3]

y = [14, 24, 18, 17, 27]    

b0, b1 = fitSLR(x, y)

print "intercept:", b0, " slope:", b1

x_test = 6

y_test = predict(6, b0, b1)

print "y_test:", y_test