前言
最近在学习人工智能入门-李宏毅课程,讲到线性回归和概率模型,在这里做一个笔记1.回归模型
1.1 什么是线性回归
一个自变量和一个因变量两者之间的关系可以用一条直线近似表示,这种回归就成为简单线性回归
1.2 什么是最小二乘法
一种求解线性回归的方法,试图找到一条直线,使所有样本到直线上的欧氏距离之和最小。
如何理解最小二乘法
最小二乘法视频
1.3 建立线性回归模型步骤
- step1:模型假设,选择模型框架(线性模型)
比 如 设 置 模 型 y = b + ∑ i = 1 N w i x i 其 中 x 为 参 数 , w 为 权 重 比如设置模型y=b+\sum_{i=1} ^{N} w_ix_i 其中x为参数,w为权重 比如设置模型y=b+∑i=1Nwixi其中x为参数,w为权重 - step2:模型评估,如何判断众多模型的好坏(损失函数)
判断模型好坏,使用损失函数,在这里$ \hat{y}$
为真实值,y为模型预测值。使用最小二乘法判断模型的好坏,即使得 ∑ ( y ^ ( i ) − f ( x ) ( i ) ) 2 \sum (\hat{y}^{(i)} - f(x)^{(i)})^2 ∑(y^(i)−f(x)(i))2最小,最小二乘法是符合正态分布,所以当和为最小时,模型为最优解。
L o s s ( w ∗ , b ∗ ) = a r g ( w , b ) m i n ∑ i = 1 m ( f ( x i ) − y i ) 2 Loss(w^*,b^*)= arg_{(w,b)}min\sum_{i=1}^{m}(f(x_i)-y_i)^2 Loss(w∗,b∗)=arg(w,b)mini=1∑m(f(xi)−yi)2
= a r g ( w , b ) m i n ∑ i = 1 m ( y i − w x i − b ) 2 = arg_{(w,b)}min\sum_{i=1}^{m}(y_i-wx_i-b)^2 =arg(w,b)mini=1∑m(yi−wxi−b)2
- step3:模型优化,如何筛选最优的模型(梯度下降)
图中 η \eta η为学习率 :移动的步长
- 步骤1:随机选取一个 w 0 w^0 w0
- 步骤2:计算微分,也就是当前的斜率,根据斜率来判定移动的方向
- 大于0向右移动(增加w)
- 小于0向左移动(减少w)
- 步骤3:根据学习率移动
- 重复步骤2和步骤3,直到找到最低点
1.4 过拟合问题
在线性回归模型中,模型中的
w
i
x
i
w_ix_i
wixi参数越多,模型越复杂,同时也会出现过拟合的现象。
选取三个线性模型,分别为
y
=
b
+
w
1
x
c
p
+
w
2
x
c
p
+
w
3
x
c
p
y=b+w_1x_{cp}+w_2x_{cp}+w_3x_{cp}
y=b+w1xcp+w2xcp+w3xcp
y
=
b
+
w
1
x
c
p
+
w
2
x
c
p
+
w
3
x
c
p
+
w
4
x
c
p
y=b+w_1x_{cp}+w_2x_{cp}+w_3x_{cp}+w_4x_{cp}
y=b+w1xcp+w2xcp+w3xcp+w4xcp
y
=
b
+
w
1
x
c
p
+
w
2
x
c
p
+
w
3
x
c
p
+
w
4
x
c
p
+
w
5
x
c
p
y=b+w_1x_{cp}+w_2x_{cp}+w_3x_{cp}+w_4x_{cp}+w_5x_{cp}
y=b+w1xcp+w2xcp+w3xcp+w4xcp+w5xcp
-
y = b + w 1 x c p + w 2 x c p + w 3 x c p y=b+w_1x_{cp}+w_2x_{cp}+w_3x_{cp} y=b+w1xcp+w2xcp+w3xcp
-
y = b + w 1 x c p + w 2 x c p + w 3 x c p + w 4 x c p y=b+w_1x_{cp}+w_2x_{cp}+w_3x_{cp}+w_4x_{cp} y=b+w1xcp+w2xcp+w3xcp+w4xcp
-
y = b + w 1 x c p + w 2 x c p + w 3 x c p + w 4 x c p + w 5 x c p y=b+w_1x_{cp}+w_2x_{cp}+w_3x_{cp}+w_4x_{cp}+w_5x_{cp} y=b+w1xcp+w2xcp+w3xcp+w4xcp+w5xcp
通过上述几张图发现,越复杂的线性方程,训练时候表现随着模型的复杂,越来越贴合数据,而在测试的数据时,模型没有随着模型的越来越复杂变得更贴合数据。
在训练集上面表现更为优秀的模型,为什么在测试集上效果反而变差了?这就是模型在训练集上过拟合的问题。
如图所示,每一个模型结果都是一个集合,5次模型⊇4次模型⊇3次模型, 所以在4次模型里面找到的最佳模型,肯定不会比5次模型里面找到更差。
将错误率结果图形化展示,发现3次方以上的模型,已经出现了过拟合的现象: