线性回归的小代码（传统计算和梯度下降的计算）

数据集：dataset 密码：fl02
梯度下降的方法对于大数据量的处理十分重要。

#coding = 'utf-8'
import numpy as np
from numpy.linalg import inv#求矩阵的逆
from numpy import dot#矩阵点乘
from numpy import mat#引入矩阵
import pandas as pd

dataset = pd.read_csv('dataset.csv')
# print(dataset)

temp = dataset.iloc[: , 2:5]
temp['x0'] = 1
x = temp.iloc[:, [3,0,1,2]]
# print(x)
y = dataset.iloc[: , 1].values.reshape(501,1)
# print(y)
print('传统直接计算的方法')
thta = dot(dot(inv(dot(x.T,x)),x.T),y)
print(thta)
print('============================')
print('梯度下降法')
#初始化thta
thta = np.array([1.,1.,1.,1.]).reshape(4,1)
alpha = 0.1 #学习速率
temp = thta
x0 = x.iloc[: , 0].values.reshape(501,1)
x1 = x.iloc[: , 1].values.reshape(501,1)
x2 = x.iloc[: , 2].values.reshape(501,1)
x3 = x.iloc[: , 3].values.reshape(501,1)

for i in range(100000):
    temp[0] = thta[0] + alpha * np.sum((y - dot(x, thta)) * x0) / 501.
    temp[1] = thta[1] + alpha * np.sum((y - dot(x, thta)) * x1) / 501.
    temp[2] = thta[2] + alpha * np.sum((y - dot(x, thta)) * x2) / 501.
    temp[3] = thta[3] + alpha * np.sum((y - dot(x, thta)) * x3) / 501.
    thta = temp
print(thta)

由以上计算结果可知，传统的方法是计算最小的的thta，而梯度下降的方法计算的是不断地接近最小值的数值。由于这里的循环次数相对于数据量来说有点大，所以计算的结果是相等的。调小一点就可以看出区别。