Python机器学习|广义线性模型（2) | 最小二乘法

"""
线性回归，又称普通最小二乘法
"""
# 导入数据集拆分工具
from sklearn.datasets import make_regression
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
X, y = make_regression(n_samples=100, n_features=2, n_informative=2, random_state=38)
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=8)
lr = LinearRegression().fit(X_train, y_train)

print("lr.coef_:{}".format(lr.coef_[:]))
print("lr.intercept_:{}".format(lr.intercept_))

# 线性回归的性能表现
print("训练数据集得分：{:.2f}".format(lr.score(X_train, y_train)))
print("测试数据集得分：{:.2f}".format(lr.score(X_test, y_test)))

lr.coef_:[70.38592453 7.43213621]
lr.intercept_:-1.4210854715202004e-14
训练数据集得分：1.00
测试数据集得分：1.00

之所以得满分，是因为没给数据集加noise，接下来使用糖尿病数据集。

"""
糖尿病数据集
"""
from sklearn.datasets import load_diabetes
# 载入糖尿病数据集
X, y = load_diabetes().data, load_diabetes().target
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=8)
lr = LinearRegression().fit(X_train, y_train)
print("训练数据集得分：{:.2f}".format(lr.score(X_train, y_train)))
print("测试数据集得分：{:.2f}".format(lr.score(X_test, y_test)))

训练数据集得分：0.53
测试数据集得分：0.46

分数降低很多。因为真实世界的数据复杂程度要比手工合成的数据高的多，使得线性回归出现大幅下降。此外，由于线性回归的自身特点，非常容易出现过拟合的现象。