week7

7.1 过拟合的问题

处理过拟合问题(over-fitting)：

• 丢弃一些无用特征

• 正则化(regularization)

7.2 代价函数

对于模型$h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2^2+{\theta }_3{x}_3^3+{\theta }_4{x}_4^4$​，由于高次项导致过拟合的产生，如果能让这些高次项的系数接近0的话，可以很好的拟合。所以要减少这些参数的值，这是正则化的基本方法。如果要减少${\theta }_3$和${\theta }_4$的大小，修改代价函数，在其中${\theta }_3$+${\theta }_4$​设置惩罚。修改后的函数如下：

$mi{n}_{\theta }\frac{1}{2m}[\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2+1000{\theta }_3^2+1000{\theta }_4^2]$

通过这样的代价函数选择的${\theta }_3$和${\theta }_4$对预测结果的影响比之前小很多。假如我们有很多的特征，我们并不知道哪些特征需要惩罚，我们将对所有的特征进行惩罚，代价函数如下：$J(\theta )=\frac{1}{2m}[\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2+\lambda \sum _{j=1}^n{\theta }_j^2]$

其中$\lambda$​又称为正则化参数(Regularization Parameter)。

不对${\theta }_0$进行惩罚

如果选择的正则化参数$\lambda$过大，则会把所有的参数都最小化，导致模型变成$h_{\theta }(x)={\theta }_0$，造成欠拟合。所以，$\lambda$要取一个合理值。

7.3 正则化线性回归

对于线性回归的求解，之前推导了两种学习算法：一种基于梯度下降，一种基于正规方程

正则化线性回归的代价函数为：

$J(\theta )=\frac{1}{2m}[(h_{\theta }(x^{(i)})-y^{(i)}{)}^2+\lambda \sum _{j=1}^n{\theta }_j^2]$

如果使用梯度下降法令这个代价函数最小化，

因为我们未对${\theta }_0$进行正则化，所以梯度下降算法分2种情形：

$repeat$ $until$ $convergence${

${\theta }_0:={\theta }_0-\alpha \frac{1}{m}\sum _{i=1}^m((h_{\theta }(x^{(i)})-y^{(i)})x_0^{(i)})$​

${\theta }_j:={\theta }_j-\alpha [\frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}+\frac{\lambda }{m}{\theta }_j]$

$forj=1,2,\cdots ,n$

}

我们同样利用正规方程来求解正则化线性回归模型，方法如下：

7.4 正则化的逻辑回归模型

针对逻辑回归问题，之前学过2种优化算法：梯度算法和高级优化算法。

代价函数加入正则化表达式，得到代价函数：

$J(\theta )=\frac{1}{m}\sum _{i=1}^m[-y^{(i)}log(h_{\theta }(x^{(i)}))-(1-y^{(i)})log(1-h_{\theta }(x^{(i)}))]+\frac{\lambda }{2m}\sum _{j=1}^n{\theta }_j^2$

最小化该代价函数，通过求导，得到梯度下降算法为：

$repeat$ $until$ $convergence${

${\theta }_0:={\theta }_0-\alpha \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_0^{(i)}$

${\theta }_j:={\theta }_j-\alpha [\frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}+\frac{\lambda }{m}{\theta }_j]$​

$forj=1,2,\cdots ,n$

}