线性回归
线性回归是最简单的一种回归方式
一元线性回归就是找出一条直线,是数据到直线之间的距离差最小。
举个例子
线性回归是要解决上面的问题,对于给定房子的面积如何来预测房子的价格。根据数据分布的特点,我们很自然的想到,如果能找到一条直线。这条直线在这些数据上表现好,那么它就能完成对于未知数据的预测。
损失函数
利用损失函数为评判标准找出直线。
函数形式为:
为直线上的数值
为了方便计算修改为:
解题思路
1.设出该直线
2.利用损失函数求出最小的
转化为求极值问题,利用梯度下降
对 求偏导
更新得到:
代码实现
import numpy as np
import matplotlib as mpl
import matplotlib.pyplot as plt
#数据
a = np.random.standard_normal((1, 500))
x = np.arange(0,50,0.1)
y = np.arange(20,120,0.2)
y = y - a*10
y = y[0]
#梯度下降
def Optimization(x,y,theta,learning_rate):
for i in range(iter):
theta = Updata(x,y,theta,learning_rate)
return theta
def Updata(x,y,theta,learning_rate):
m = len(x)
sum = 0.0
sum1 = 0.0
alpha = learning_rate
h = 0
for i in range(m):
h = theta[0] + theta[1] * x[i]
sum += (h - y[i])
sum1 += (h - y[i]) * x[i]
theta[0] -= alpha * sum / m
theta[1] -= alpha * sum1 / m
return theta
#数据初始化
learning_rate = 0.001
theta = [0,0]
iter = 1000
theta = Optimization(x,y,theta,learning_rate)
plt.rcParams['font.sans-serif']=['SimHei']
plt.rcParams['axes.unicode_minus'] = False
'''
plt.figure(figsize=(35,35))
plt.scatter(x,y,marker='o')
plt.xticks(fontsize=40)
plt.yticks(fontsize=40)
plt.xlabel('特征X',fontsize=40)
plt.ylabel('Y',fontsize=40)
plt.title('样本',fontsize=40)
plt.savefig("样本.jpg")
'''
#可视化
b = np.arange(0,50)
c = theta[0] + b * theta[1]
plt.figure(figsize=(35,35))
plt.scatter(x,y,marker='o')
plt.plot(b,c)
plt.xticks(fontsize=40)
plt.yticks(fontsize=40)
plt.xlabel('特征X',fontsize=40)
plt.ylabel('Y',fontsize=40)
plt.title('结果',fontsize=40)
plt.savefig("结果.jpg")
**
运行结果
**