【入门教程】使用pytorch和sklearn分别实现多元线性回归

回归分析

	回归是监督学习的一个重要问题，回归用于预测输入变量和输出变量之间的关系，特别是当输入变量的值发生变化时，输出变量的值也随之发生变化。
	回归模型正是表示从输入变量到输出变量之间映射的函数。

	线性回归是回归分析的一种。
			1.假设目标值（因变量）与特征值（自变量）之间线性相关（即满足一个多元一次方程，如：f(x)=w1x1+…+wnxn+b.）。
			2.然后构建损失函数。
			3.最后通过令损失函数最小来确定参数。（最关键的一步）

使用PyTorch实现多元线性回归

import torch
import numpy as np

# 1-prepare dataset
data_x = np.random.randint(0,100,(200,3))
l = [[5.0],[2.0],[2.0]]#系数l
data_y = np.mat(data_x) * np.mat(l) + np.random.normal(0,0.05,(200,1)) + 10#data_x与data_y的关系

data_x = torch.FloatTensor(data_x)
data_y = torch.FloatTensor(data_y)
# 2-design model
class LinearRegression(torch.nn.Module):
    def __init__(self):
        super(LinearRegression,self).__init__()
        self.linear = torch.nn.Linear(3,1)
    def forward(self,x):
        return self.linear(x)
    
model = LinearRegression()

# 3-construct loss and optimizer
criterion = torch.nn.MSELoss(size_average=True)
optimizer = torch.optim.Adam(model.parameters(),lr=0.001)

# 4-training cycle forward, backward, update
for epoch in range(50000):
        outputs = model(data_x)# model的预测
        loss = criterion(outputs,data_y)# model的损失的计算
        
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()

for parameter in model.parameters():
    print(parameter)

Pytorch预测结果展示 ：

使用Sklearn实现多元线性回归

# sklearn实现线性回归
import numpy as np
from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error

# 1-prepare dataset
data_x = np.random.randint(0,100,(200,3))
l = [[5.0],[2.0],[2.0]]
data_y = np.mat(data_x) * np.mat(l) + np.random.normal(0,0.05,(200,1)) + 10

x_train,x_test,y_train,y_test = train_test_split(data_x,data_y,test_size=0.2,random_state=0)
# 2-design model
LR = LinearRegression()
LR.fit(x_train,y_train)
print("系数:",LR.coef_[0],LR.intercept_)
# 3-evaluate model
y_pred=LR.predict(X=x_test)
mse=mean_squared_error(y_true=y_test,y_pred=y_pred)
print('\nMSE:{}'.format(mse))

Sklearn预测结果展示 ：