【吴恩达机器学习】正则化

1.为什么要正则化？

  保留某些特征，正则化可以使得减少这些特征对于预测结果的影响。吴恩达推荐不正则化b这个参数。

正则化函数如下：

 lambda:正则化参数，像学习率一样由自己定义。

Q1：为什么要加入正则化项？就可以控制各种参数的大小？

A1: 因为如果我们令 LAMBDA的值很大的话, 为了使代价函数 J 尽可能的小，所有的参数W 的值 都会在一定程度上减小。 但若 λ 的值太大了，那么 W的值 都会趋近于0，这样我们所得到的只能是一条平行于x轴的直线。所以对于正则化，我们要取一个合理的 λ  值，这样才能更好的应用正则化.

举个例子：以房价为例，输入的特征有房屋的大小，位置，和离咖啡馆的距离等参数。其中离咖啡馆距离这一特征影响房价的作用非常非常非常小（假设这是我们已知的，机器不知道），这时候机器开始进行训练，由于训练过程中机器发现距离咖啡店100m和距离咖啡店1m对价格影响甚微，所以这个特征的参数设置为10000或者1都OK,but我们还加入了正则化，这时最小化J就会使得这个W得设置为1，因为J函数就得是最小的时候算作参数呀，给他设置为1（意思就是设置了一个最小的数字）相当于忽略这个特征。从而实现了正则化的目的。