机器学习算法（2）—— 线性回归算法(1)

• • 4.1 正规方程
    • 4.2 梯度下降
    • 4.3 优化方法比较
    • 4.4 线性回归api再介绍
• 5 欠拟合与过拟合
• • 5.1 欠拟合
    • 5.2 过拟合
• 6 正则化线性模型
• • 6.1 Ridge Regression 岭回归
    • 6.2 Lasso 回归
    • 6.3 Elastic Net 弹性网络
    • 6.4 Early stopping
• 7 模型的保存与加载

1 线性回归简介

线性回归(Linear regression)是利用回归方程(函数)对一个或多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方式。

• h代表学习算法的解决方案或函数，也称为假设（hypothesis），h(x)代表预测的值

注意：

• 只有一个自变量的情况称为单变量回归，多于一个自变量情况的叫做多元回归
• 特征值与目标值之间建立了一个关系，这个关系可以理解为线性模型。
• 线性回归当中主要有两种模型，一种是线性关系，另一种是非线性关系

2 线性回归的初步使用

线性回归API

sklearn.linear_model.LinearRegression()

• LinearRegression.coef_：回归系数

'''导入模块'''
from sklearn.linear_model import LinearRegression

'''构造数据集'''
x = [[80, 86],
	 [82, 80],
	 [85, 78],
	 [90, 90],
	 [86, 82],
	 [82, 90],
	 [78, 80],
	 [92, 94]]
y = [84.2, 80.6, 80.1, 90, 83.2, 87.6, 79.4, 93.4]

'''模型训练'''
# 实例化一个估计器
estimator = LinearRegression()
# 使用fit方法进行训练
estimator.fit(x,y)
# 查看回归系数值
coef = estimator.coef_
print("系数是：\n",coef) # [0.3 0.7]
# 预测值
prediction = estimator.predict([[100, 80]])
print("预测值是：\n",prediction) # [86.]

3 损失函数

为了评估模型拟合的好坏，通常用损失函数来度量拟合的程度。损失函数极小化，意味着拟合程度最好，对应的模型参数即为最优参数