第六章-正则化
过拟合问题
如果我们有非常多的特征,我们通过学习得到的假设可能能够非常好地适应训练集(代价函数可能几乎为0),但是可能会不能推广到新的数据。
下图是一个回归问题的例子:
第一个模型是一个线性模型,不能很好地适应我们的训练集。这是欠拟合(underfitting),算法具有高偏差(high bias)。
第二个模型是一个二次方模型,这个拟合效果很好。
第三个模型是一个四次方模型,过于强调拟合原始数据,若给出一个新的值使之预测,它将表现的很差。这就是过拟合(overfitting),算法具有高方差(high variance)。
概括的说,过度拟合问题将会在变量过多的时候出现,这时训练出的假设能很好地拟合训练集,但它不能很好地泛化在新的样本中。泛化(generalize) 是指一个假设模型应用到新样本的能力。
类似的说法同样可以应用到逻辑回归中:
第一个模型欠拟合,第二个模型很适合,第三个模型过拟合。就以多项式理解,
x
x
x 的次数越高,拟合的越好,但相应的预测的能力就可能变差。
如果我们有过多的变量,而只有非常少的训练数据,就会出现过度拟合的问题。有两个方法来解决问题。
- 减少选取变量的数量
可以通过人工检查变量清单选择应该保留的变量,也可以使用模型选择算法自动的选择应该保留的变量 - 正则化
保留所有的特征变量,但是需要减少量级或参数 θ j \theta_{ j } θj 的大小。
正则化方法非常有效,当我们有很多特征变量时,其中每一个变量都能对预测的 y y y 值产生一点影响。
代价函数
上面的回归问题中我们的模型是: h θ ( x ) = θ 0 + θ 1 x 1 + θ 2 x 2 2 + θ 3 x 3 3 + θ 4 x 4 4 {h_\theta}\left( x \right)={\theta_{0}}+{\theta_{1}}{x_{1}}+{\theta_{2}}{x_{2}^2}+{\theta_{3}}{x_{3}^3}+{\theta_{4}}{x_{4}^4} hθ(x)=θ0+θ1x1+θ2x22+θ3x33+θ4x44
因为我们用阶数过高的多项式去拟合数据会得到比较扭曲的线,虽然更好的拟合了数据,但出现了过拟合问题。正是那些高次项导致了过拟合的产生,如果我们能让这些高次项的系数接近于0的话,数据就能很好的拟合了。所以我们要做的就是在一定程度上减小这些参数 θ \theta θ 的值,这就是正则化的基本方法。
针对模型,我们决定要减少 θ 3 {\theta_{3}} θ3和 θ 4 {\theta_{4}} θ4的大小,我们要做的便是修改代价函数,在其中 θ 3 {\theta_{3}} θ3和 θ 4 {\theta_{4}} θ4 设置一点惩罚。这样做的话,我们在尝试最小化代价时也需要将这个惩罚纳入考虑中,并最终导致选择较小一些的 θ 3 {\theta_{3}} θ3和 θ 4 {\theta_{4}} θ4。
修改后的代价函数如下: min θ   1 2 m [ ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) 2 + 1000 θ 3 2 + 10000 θ 4 2 ] \underset{\theta }{\mathop{\min }}\,\frac{1}{2m}[\sum\limits_{i=1}^{m}{{{\left( {{h}_{\theta }}\left( {{x}^{(i)}} \right)-{{y}^{(i)}} \right)}^{2}}+1000\theta _{3}^{2}+10000\theta _{4}^{2}]} θmin2m1[i=1∑m(hθ(x(i))−y(i))2+1000θ32+10000θ42]
通过这样的代价函数选择出的 θ 3 {\theta_{3}} θ3和 θ 4 {\theta_{4}} θ4 对预测结果的影响就比之前要小许多。
假如我们有非常多的特征,我们并不知道其中哪些特征我们要惩罚,我们将对所有的特征进行惩罚,并且让代价函数最优化的软件来选择这些惩罚的程度。这样的结果是得到了一个较为简单的能防止过拟合问题的假设: J ( θ ) = 1 2 m [ ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) 2 + λ ∑ j = 1 n θ j 2 ] J\left( \theta \right)=\frac{1}{2m}[\sum\limits_{i=1}^{m}{{{({h_\theta}({{x}^{(i)}})-{{y}^{(i)}})}^{2}}+\lambda \sum\limits_{j=1}^{n}{\theta_{j}^{2}}]} J(θ)=2m1[i=1∑m(hθ(x(i))−y(i))2+λj=1∑nθj2]
其中 λ \lambda λ 又称为正则化参数(Regularization Parameter)。 根据惯例,我们不对 θ 0 {\theta_{0}} θ0 进行惩罚。
引入一项 λ ∑ j = 1 n θ j 2 \lambda \sum\limits_{j=1}^{n}{\theta_j^{2}} λj=1∑nθj2 后,为了让代价函数 J ( θ ) J\left( \theta \right) J(θ) 变小,那么 θ j \theta_{j} θj 的值也要减小才行。
经过正则化处理的模型与原模型的可能对比如下图所示:
如果选择的正则化参数 λ \lambda λ 过大,则会把所有的参数都最小化了,导致模型变成 h θ ( x ) = θ 0 {h_\theta}\left( x \right)={\theta_{0}} hθ(x)=θ0,也就是上图中红色直线所示的情况,造成欠拟合。
如果选择的正则化参数 λ \lambda λ 过小,则不能使得参数 θ j \theta_{j} θj 大幅变小,代价函数变小的程度太弱,不能有效解决过拟合的问题。
所以对于正则化,我们要取一个合理的 λ \lambda λ 的值,这样才能更好的应用正则化。
回顾一下代价函数,为了使用正则化,让我们把这些概念应用到到线性回归和逻辑回归中去,那么我们就可以让他们避免过度拟合了。
线性回归的正则化
对于线性回归的求解,我们之前推导了两种学习算法:一种基于梯度下降,一种基于正规方程。
正则化线性回归的代价函数为: J ( θ ) = 1 2 m ∑ i = 1 m [ ( ( h θ ( x ( i ) ) − y ( i ) ) 2 + λ ∑ j = 1 n θ j 2 ) ] J\left( \theta \right)=\frac{1}{2m}\sum\limits_{i=1}^{m}{[({{({h_\theta}({{x}^{(i)}})-{{y}^{(i)}})}^{2}}+\lambda \sum\limits_{j=1}^{n}{\theta _{j}^{2}})]} J(θ)=2m1i=1∑m[((hθ(x(i))−y(i))2+λj=1∑nθj2)]
如果我们要使用梯度下降法令这个代价函数最小化,因为我们未对 θ 0 \theta_0 θ0 进行正则化,所以梯度下降算法将分两种情形:
R e p e a t Repeat Repeat u n t i l until until c o n v e r g e n c e convergence convergence{
θ 0 : = θ 0 − a 1 m ∑ i = 1 m ( ( h θ ( x ( i ) ) − y ( i ) ) x 0 ( i ) ) {\theta_0}:={\theta_0}-a\frac{1}{m}\sum\limits_{i=1}^{m}{(({h_\theta}({{x}^{(i)}})-{{y}^{(i)}})x_{0}^{(i)}}) θ0:=θ0−am1i=1∑m((hθ(x(i))−y(i))x0(i))
θ j : = θ j − a [ 1 m ∑ i = 1 m ( ( h θ ( x ( i ) ) − y ( i ) ) x j ( i ) + λ m θ j ] {\theta_j}:={\theta_j}-a[\frac{1}{m}\sum\limits_{i=1}^{m}{(({h_\theta}({{x}^{(i)}})-{{y}^{(i)}})x_{j}^{\left( i \right)}}+\frac{\lambda }{m}{\theta_j}] θj:=θj−a[m1i=1∑m((hθ(x(i))−y(i))xj(i)+mλθj]
f o r for for j = 1 , 2 , . . . n j=1,2,...n j=1,2,...n
}
对上面的算法中
j
=
1
,
2
,
.
.
.
,
n
j=1,2,...,n
j=1,2,...,n 时的更新式子进行调整可得:
θ
j
:
=
θ
j
(
1
−
a
λ
m
)
−
a
1
m
∑
i
=
1
m
(
h
θ
(
x
(
i
)
)
−
y
(
i
)
)
x
j
(
i
)
{\theta_j}:={\theta_j}(1-a\frac{\lambda }{m})-a\frac{1}{m}\sum\limits_{i=1}^{m}{({h_\theta}({{x}^{(i)}})-{{y}^{(i)}})x_{j}^{\left( i \right)}}
θj:=θj(1−amλ)−am1i=1∑m(hθ(x(i))−y(i))xj(i)
可以看出,正则化线性回归的梯度下降算法的变化在于,每次都在原有算法更新规则的基础上令
θ
\theta
θ 值减少了一个额外的值。
我们同样也可以利用正规方程来求解正则化线性回归模型
修改之后的正规方程法:
增加的矩阵是个
(
n
+
1
)
×
(
n
+
1
)
(n+1)×(n+1)
(n+1)×(n+1) 维的矩阵,对角线上除了第一个元素为0其他都为1。
如果现在样本总数
m
m
m 小于等于特征数量
n
n
n,那么
(
X
T
X
)
−
1
{{\left( {{X}^{T}}X \right)}^{-1}}
(XTX)−1 矩阵是个奇异矩阵,是不可逆的。
而在正则化中已经考虑到了这个问题。具体来说,只要正则化参数 λ \lambda λ 是严格大于 0 的,我们就可以确信“X的转置乘以X 加上 λ \lambda λ 乘以这个增加的矩阵”是可逆的。
Logistic回归的正则化
我们给代价函数增加一个正则化的表达式,得到正则化的代价函数:
J
(
θ
)
=
1
m
∑
i
=
1
m
[
−
y
(
i
)
log
(
h
θ
(
x
(
i
)
)
)
−
(
1
−
y
(
i
)
)
log
(
1
−
h
θ
(
x
(
i
)
)
)
]
+
λ
2
m
∑
j
=
1
n
θ
j
2
J\left( \theta \right)=\frac{1}{m}\sum\limits_{i=1}^{m}{[-{{y}^{(i)}}\log \left( {h_\theta}\left( {{x}^{(i)}} \right) \right)-\left( 1-{{y}^{(i)}} \right)\log \left( 1-{h_\theta}\left( {{x}^{(i)}} \right) \right)]}+\frac{\lambda }{2m}\sum\limits_{j=1}^{n}{\theta _{j}^{2}}
J(θ)=m1i=1∑m[−y(i)log(hθ(x(i)))−(1−y(i))log(1−hθ(x(i)))]+2mλj=1∑nθj2
产生的效果是,即使你拟合阶数很高,且参数很多,只要添加了这个正则化项,保持参数较小,你依然可以得到一条合理划分正负样本的边界。即使你有很多特征,正则化也能帮你避免过拟合的现象。
Python代码:
import numpy as np
def costReg(theta, X, y, learningRate):
theta = np.matrix(theta)
X = np.matrix(X)
y = np.matrix(y)
first = np.multiply(-y, np.log(sigmoid(X*theta.T)))
second = np.multiply((1 - y), np.log(1 - sigmoid(X*theta.T)))
reg = (learningRate / (2 * len(X))* np.sum(np.power(theta[:,1:theta.shape[1]],2))
return np.sum(first - second) / (len(X)) + reg
要最小化该代价函数,通过求导,得出梯度下降算法为:
R e p e a t Repeat Repeat u n t i l until until c o n v e r g e n c e convergence convergence{
θ 0 : = θ 0 − a 1 m ∑ i = 1 m ( ( h θ ( x ( i ) ) − y ( i ) ) x 0 ( i ) ) {\theta_0}:={\theta_0}-a\frac{1}{m}\sum\limits_{i=1}^{m}{(({h_\theta}({{x}^{(i)}})-{{y}^{(i)}})x_{0}^{(i)}}) θ0:=θ0−am1i=1∑m((hθ(x(i))−y(i))x0(i))
θ j : = θ j − a [ 1 m ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) x j ( i ) + λ m θ j ] {\theta_j}:={\theta_j}-a[\frac{1}{m}\sum\limits_{i=1}^{m}{({h_\theta}({{x}^{(i)}})-{{y}^{(i)}})x_{j}^{\left( i \right)}}+\frac{\lambda }{m}{\theta_j}] θj:=θj−a[m1i=1∑m(hθ(x(i))−y(i))xj(i)+mλθj]
f o r for for j = 1 , 2 , . . . n j=1,2,...n j=1,2,...n
}
这就是正则化逻辑回归的梯度下降算法,看上去同线性回归一样,但是记住它的假设模型 h θ ( x ) = g ( θ T X ) {h_\theta}\left( x \right)=g\left( {\theta^T}X \right) hθ(x)=g(θTX),所以与线性回归是不同的。
接下来的课程中,我们将学习一个非常强大的非线性分类器。无论是线性回归问题,还是逻辑回归问题,我们都可以构造多项式来解决。实际上,我们还有更强大的非线性分类器,可以用来解决多项式回归的问题。我们接下来将学习更多更为强大的算法,来解决各种不同的问题。