吴恩达深度学习公开课笔记(3)

如何解决过拟合问题

• 尽量减少特征变量:
  • 人工选择
  • 模型选择算法
• 正规化:
  • 保存所有特征，但减少参数${\theta }_j$的值
  • 当我们有许多特征时能工作的很好

什么是过拟合

正规化

优化目标：

加上一些 项(1000只是一个随意的很大的数)：

${\theta }_3和{\theta }_4对代价函数的影响巨大$
如果我们要最小化代价函数，那么${\theta }_3$和${\theta }_4$就会尽可能小
新的代价函数将会导致:
${\theta }_3\approx 0,{\theta }_4\approx 0$就像我们忽略了${\theta }_3$和${\theta }_4$

正规化背后的思路

如果我们的参数对应一个较小值的话，更简单的参数会参数更平滑的函数

• 更简单的假设
• 不会产生过拟合

代价函数

当特征很多时:

• Features：$x_1,x_2,\dots ,x_{100}$
• Parameters：${\theta }_0,{\theta }_1,{\theta }_2,\dots ,{\theta }_{100}$

我们不知道怎么选择参数

在正规化在我们要做的就是惩罚所有参数：

$$J_{\theta }(\theta )=[\frac{1}{2m}\sum _{i=1}^m(h(x^{(i)})-y^{(i)})+\lambda \sum _{j=i}^n{\theta }_j^2]$$

按照惯例来说不会惩罚${\theta }_0$

$\lambda$在这里叫做正规化参数，$\lambda$要做的就是控制在两个不同目标间的平衡关系：
平衡拟合目标(平方误差)和保持较小参数的目的
从而保持假设更简单，来避免过拟合

如果$\lambda$过大会导致欠拟合

$h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+{\theta }_3{x}_3+{\theta }_4{x}_4$
如果$\lambda$过大，那么参数将会尽可能小：
${\theta }_1\approx 0,{\theta }_2\approx 0,\theta 3\approx 0,{\theta }_4\approx 0$
相当于拟合了直线：
$h_{\theta }(x)={\theta }_0$

偏导：
$$\begin{gathered} 线性回归：J(\theta {)}^{\prime }=\frac{1}{m}\sum _{i=1}^M(H(x^{(i)})-y^{(i)})x_j^{(i)}+2\lambda {\theta }_j \\ 逻辑回归：J(\theta {)}^{\prime }=\frac{1}{m}\sum _{i=1}^M(H(x^{(i)})-y^{(i)})x_j^{(i)}+\frac{\lambda }{m}{\theta }_j \end{gathered}$$

神经网络是怎么拟合非线性函数

and

x 1 , x 2 ∈ { 0 , 1 } x1,x2\in\{ 0,1\} x1,x2∈{0,1}

$h_{\theta }(x)=g(-30+20x1+20x2)$

x1	x2	$h_{\theta }(x)$
0	0	$g(-30+0+0)\approx 0$
0	1	$g(-30+0+20)\approx 0$
1	0	$g(-30+20+0)\approx 0$
1	1	$g(-30+20+20)\approx 1$

or

x 1 , x 2 ∈ { 0 , 1 } x1,x2\in\{ 0,1\} x1,x2∈{0,1}

$h_{\theta }(x)=g(-10+20x1+20x2)$

x1	x2	$h_{\theta }(x)$
0	0	$g(-10+0+0)\approx 0$
0	1	$g(-10+0+20)\approx 1$
1	0	$g(-10+20+0)\approx 1$
1	1	$g(-10+20+20)\approx 1$

or

x 1 , x 2 ∈ { 0 , 1 } x1,x2\in\{ 0,1\} x1,x2∈{0,1}

$h_{\theta }(x)=g(+10-20x1)$

x1	$h_{\theta }(x)$
0	$g(10+0)\approx 1$
1	$g(10-20)\approx 0$

xnor

太弱智了