python sklearn 梯度下降法_多元线性回归——梯度下降法、sklearn实现

多元线性回归——梯度下降法、sklearn实现

2020-08-05 23:49

阅读数 11

<>梯度下降法实现多元线性回归(代码实现)

载入数据

data = genfromtxt(r"\Delivery.csv", delimiter=',')

观察一下数据

x_data为特征值，y_data为标签值

所以应该设置3个参数θ0，θ1，θ2

lr = 0.0001 # 参数 theta0 = 0 theta1 = 0 theta2 = 0 # 最大迭代次数 epochs = 1000

接下来与一元线性回归一样，用最小二乘和梯度下降求解参数

def compute_error(theta0, theta1, theta2, x_data, y_data): totalError = 0 for i

in range(0, len(x_data)): totalError += (y_data[i] - (theta1 * x_data[i, 0] +

theta2* x_data[i, 1] + theta0)) ** 2 return totalError / float(len(x_data)) def

gradient_descent_runner(x_data, y_data, theta0, theta1, theta2, lr, epochs): #

计算总数据量 m = float(len(x_data)) for i in range(epochs): theta0_grad = 0

theta1_grad= 0 theta2_grad = 0 # 计算梯度的总和再求平均 for j in range(0, len(x_data)):

theta0_grad+= -(1/m) * (y_data[j] - (theta1 * x_data[j, 0] + theta2*x_data[j, 1]

+ theta0)) theta1_grad += -(1 / m) * x_data[j, 0] * (y_data[j] - (theta1 *

x_data[j, 0] + theta2 * x_data[j, 1] + theta0)) theta2_grad += -(1 / m) * x_data

[j, 1] * (y_data[j] - (theta1 * x_data[j, 0] + theta2 * x_data[j, 1] + theta0))

#更新b和k theta0 = theta0 - (lr*theta0_grad) theta1 = theta1 - (lr*theta1_grad)

theta2= theta2 - (lr*theta2_grad) return theta0, theta1, theta2 theta0, theta1,

theta2= gradient_descent_runner(x_data, y_data, theta0, theta1, theta2, lr,

epochs)

画图

ax = plt.figure().add_subplot(111, projection='3d') ax.scatter(x_data[:, 0],

x_data[:, 1], y_data, c='r', marker='o', s=100) # 点为红色三角形 x0 = x_data[:, 0] x1 =

x_data[:, 1] # 生成网络矩阵 x0, x1 = np.meshgrid(x0, x1) z = theta0 + x0 * theta1 +

theta2# 画3D图 ax.plot_surface(x0, x1, z) # 设置坐标轴 ax.set_xlabel('Miles') ax.

set_ylabel('Num of Deliveries') ax.set_zlabel('Time') plt.show()

<>用sklearn实现多元线性回归

载入数据、切分数据与普通方法无异

创建模型

model = linear_model.LinearRegression() model.fit(x_data, y_data)

打印出相关信息

# 系数 print('coefficients:', model.coef_) # 截距 print('intercept:', model.

intercept_)

对模型进行测试

x_test = [[10, 45]] predict = model.predict(x_test) print('predict:', predict)

画图，包括生成网格图、3D图，可以更好地观察拟合效果

ax = plt.figure().add_subplot(111, projection = '3d') ax.scatter(x_data[:, 0],

x_data[:, 1], y_data, c='r', marker='o', s=100) x0 = x_data[:, 0] x1 = x_data[:,

1] # 生成网络矩阵 x0, x1 = np.meshgrid(x0, x1) z = model.intercept_ + x0 * model.coef_

[0] + x1 * model.coef_[1] # 画3D图 ax.plot_surface(x0, x1, z) # 设置坐标轴 ax.

set_xlabel('x') ax.set_ylabel('y') ax.set_zlabel('z') plt.show()