DW打卡第一次——线性回归

线性回归

内容包括五方面，get之后便可开始实践啦

1、线性回归的原理

2、线性回归损失函数、代价函数、目标函数

3、优化方法(梯度下降法、牛顿法、拟牛顿法等)

4、线性回归的评估指标

5、sklearn参数详解

1、线性回归的原理

进而我们可以得到线性回归的一般形式：
有数据集 {(𝑥1,𝑦1),(𝑥2,𝑦2),…,(𝑥𝑛,𝑦𝑛)} ,其中, 𝑥𝑖=(𝑥𝑖1;𝑥𝑖2;𝑥𝑖3;…;𝑥𝑖𝑑),𝑦𝑖∈𝑅
其中n表示变量的数量，d表示每个变量的维度。
可以用以下函数来描述y和x之间的关系：

如何来确定 𝜃 的值，使得 𝑓(𝑥) 尽可能接近y的值呢？均方误差是回归中常用的性能度量，即：

我们可以选择 𝜃 ，试图让均方误差最小化，如何进行参数估计呢？
我们用最大似然估计（从概率角度）的方法。