《机器学习基础》组队学习打卡1

本节内容：线性回归的概念¶
主要学习以下5个方面：

• 线性回归的原理
• 线性回归损失函数、代价函数、目标函数
• 优化方法(梯度下降法、牛顿法、拟牛顿法等)
• 线性回归的评估指标
• sklearn参数详解

1、线性回归的一般形式：
有数据集 {(𝑥1,𝑦1),(𝑥2,𝑦2),…,(𝑥𝑛,𝑦𝑛)} ,其中, 𝑥𝑖=(𝑥𝑖1;𝑥𝑖2;𝑥𝑖3;…;𝑥𝑖𝑑),𝑦𝑖∈𝑅
其中n表示变量的数量，d表示每个变量的维度。
2、线性回归损失函数、代价函数、目标函数
损失函数(Loss Function)：度量单样本预测的错误程度，损失函数值越小，模型就越好。
代价函数(Cost Function)：度量全部样本集的平均误差。
目标函数(Object Function)：代价函数和正则化函数，最终要优化的函数。
常用的损失函数包括：0-1损失函数、平方损失函数、绝对损失函数、对数损失函数等；常用的代价函数包括均方误差、均方根误差、平均绝对误差等。
3、线性回归的优化方法:梯度下降法、牛顿法、拟牛顿法

4、线性回归的评价指标：MSE、RMSE、MAE、R2等
5、代码实践：
import numpy as np
from sklearn.linear_model import LinearRegression
import matplotlib.pyplot as plt
%matplotlib inline

调用模型

lr = LinearRegression(fit_intercept=True)

训练模型

lr.fit(x,y)
print(“估计的参数值为：%s” %(lr.coef_))

计算R平方

print(‘R2:%s’ %(lr.score(x,y)))

任意设定变量，预测目标值

x_test = np.array([2,4,5]).reshape(1,-1)
y_hat = lr.predict(x_test)
print(“预测值为: %s” %(y_hat))