手写线性回归预测波士顿房价

机器学习课程实验

 导入库

import pandas as pd
import numpy as np
from sklearn import datasets
from matplotlib import font_manager as fm, rcParams
import matplotlib.pyplot as plt
from sklearn.model_selection import KFold

加载需要的数据集，并选择 data,target

boston = datasets.load_boston()
x = pd.DataFrame(data=boston.data,columns=boston.feature_names)
y = pd.DataFrame(data=boston.target,columns=['MEDV'])

把x,y标准化

x = ((x - x.mean()) / x.std()).values
y = ((y - y.mean()) / y.std()).values

分割数据集，实验要求用五折交叉验证法

kf = KFold(n_splits=5)
for x_train_index,x_test_index in kf.split(x):
    x_train,x_test = x[x_train_index],x[x_test_index]

for y_train_index,y_test_index in kf.split(y):
    y_train,y_test = y[y_train_index],y[y_test_index]

添加偏置列，同时初始化theta矩阵

x_train =np.insert(x_train, 0, 1,axis= 1)
x_test = np.insert(x_test,0,1,axis=1)
theta = np.matrix(np.zeros((1,14)))   #x的第二维维度为14，所以初始化theta为（1,14）

定义costfunction

def costfunction(x,y,theta):
    inner = np.power(x*theta.T - y,2)
    return np.sum(inner)/(2*len(x))

这里costfunction采用最平常的 （预测值-真实值）的平方 / 2m,m为样本总数。
不太了解的可以看吴恩达老师的机器学习里的梯度下降。

定义正则化代价函数

def regularizedcost(x,y,theta,l):
    reg = (l / (2 * len(x))) * (np.power(theta,2).sum())
    return costfunction(x,y,theta) + reg

防止overfitting等情况

定义梯度下降

def gradientdescent(x,y,theta,rate,l,epoch):
    temp = np.matrix(np.zeros(np.shape(theta)))  #
    parameters =  int(theta.flatten().shape[1])   #参数数量
    cost = np.zeros(epoch)					#储存每个epoch的cost
    m = x.shape[0]							#x样本总数
    for i in range(epoch):    				#循环迭代epoch次
        temp = theta - (rate / m) * ((x * theta.T - y).T * x) - (rate*l)/m * theta     									#迭代公式
        theta = temp                       
        cost[i] = regularizedcost(x,y,theta,l)        
    return theta,cost

最终定义参数

if __name__ == '__main__':
    rate = 0.001					#学习率
    epoch = 5000					#迭代次数
    l = 50							#正则化参数
    finallycost,cost = gradientdescent(x_train,y_train,theta,rate,l,epoch)
    print(finallycost)				#输出最终权重
   

输出结果：

最终得到的权重如上

用得到的参数与测试集对比，

    t = np.arange(len(x_test))  # 创建等差数组
    plt.plot(t, y_test, 'r-', linewidth=2, label=u'truth')   
    plt.plot(t, y_hat_test, 'b-', linewidth=2, label=u'foresee')
    plt.legend(loc='upper right')
    plt.grid(b=True, linestyle='--')
    plt.show()

放一个预测的：

部分代码引用此：https://blog.csdn.net/weixin_44209013/article/details/106521149?ops_request_misc=&request_id=&biz_id=102&utm_term=%E6%89%8B%E5%86%99%E6%A2%AF%E5%BA%A6%E4%B8%8B%E9%99%8D%E9%A2%84%E6%B5%8B%E6%88%BF%E4%BB%B7&utm_medium=distribute.pc_search_result.none-task-blog-2_allsobaiduweb~default-0-106521149.first_rank_v2_pc_rank_v29&spm=1018.2226.3001.4187