正则化（二）

3 正则化线性回归

正则化线性回归的代价函数为：

如果我们要使用梯度下降发令这个代价函数最小化，因为我们未对 θ 0 进行正则化，所

以梯度下降算法将分两种情形：

对上面的算法中 j=1,2,...,n 时的更新式子进行调整可得：

可以看出，正则化线性回归的梯度下降算法的变化在于，每次都在原有算法更新规则的

基础上令 θ 值减少了一个额外的值。

我们同样也可以利用正规方程来求解正则化线性回归模型，方法如下所示：

图中的矩阵尺寸为 (n+1)*(n+1) 

4.正则化的逻辑回归模型

 同样对于逻辑回归，我们也给代价函数增加一个正则化的表达式，得到：

要最小化该代价函数，通过求导，得出梯度下降算法为： 

注：看上去同线性回归一样，但是知道 h θ (x)=g(θ T X) ，所以与线性回归不同。

Octave 中，我们依旧可以用 fminuc 函数来求解代价函数最小化的参数，值得注意的是

参数 θ 0 的更新规则与其他情况不同。

注意：

1. 虽然正则化的逻辑回归中的梯度下降和正则化的线性回归中的表达式看起来一样，但

由于两者的 h(x) 不同所以还是有很大差别。

2. θ

0 不参与其中的任何一个正则化