线性回归-一元线性回归

理论推导

预测值：a*x+b
x：样本值
a,b：待确定
损失函数（最小二乘法），一个样本为：$\frac{1}{2}$$（y-a\ast x-b{）}^2$
代价函数（对于所有样本）：J（a,b）=$\frac{1}{2m}$${\sum }_{i=1}^m$$（y^{(i)}-a\ast x^{(i)}-b{）}^2$
梯度下降公式：a=a-$\frac{1}{m}$${\sum }_{i=1}^m$$（y^{(i)}-a\ast x^{(i)}-b）$×（-$x^{(i)}$）
b=b-$\frac{1}{m}$${\sum }_{i=1}^m$$（y^{(i)}-a\ast x^{(i)}-b）$

代码

梯度下降

import numpy as np
import matplotlib.pyplot as plt

#载入数据
data=np.genfromtxt("data.csv",delimiter=",")
#样本值
x=data[:,0]
#真实值
y=data[:,1]
#绘制散点图
plt.scatter(x,y,color='b')
plt.show()

#一元线性回归 预测值：ax+b
a=0
b=0
#学习率
learning_rate=0.0001
#循环次数
loop=50
#梯度下降计算
def gradient_descent(x,y,a,b,learning_rate,loop):
    #长度
    m=float(len(x))
    for i in range(loop):
        #两个临时变量，存放加和
        a_temp=0
        b_temp=0
        for j in range(0,len(x)):
            a_temp+=-(1/m)*(y[j]-a*x[j]-b)*x[j]
            b_temp+=(1/m)*(y[j]-a*x[j]-b)
        #更新参数
        a=a-a_temp*learning_rate
        b=b-b_temp*learning_rate
        """
        if i % 5==0:
            plt.plot(x,y,'b.')
            plt.plot(x,a*x+b,'r')
            plt.show()
        """
    return a,b
#计算损失值，最小二乘法
def error(a,b,x,y):
    totalError=0
    for i in range(len(x)):
        totalError+=(y[i]-a*x[i]-b)**2
    return totalError/(2*float(len(x)))

a,b=gradient_descent(x,y,a,b,learning_rate,loop)
plt.plot(x,y,'b.')
plt.plot(x,a*x+b,'r')
plt.show()
print(error(a,b,x,y))

sklearn

import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression

#载入数据
data=np.genfromtxt("E:\\研究生\\资料\\程序\\回归\\data.csv",delimiter=',')
#样本值
x=data[:,0]
y=data[:,1]
plt.scatter(x,y,color='b')
plt.show()

#取某列数据后，再加一个维度，变成矩阵。
x=data[:,0,np.newaxis]
y=data[:,1,np.newaxis]
#创建并拟合模型
model=LinearRegression()
#要求数据为矩阵
model.fit(x,y)

plt.plot(x,y,'b.')
plt.plot(x,model.predict(x),'r')
plt.show()