吴恩达深度学习笔记_吴恩达《深度学习》笔记 2.3 Logistic回归损失函数2.4 梯度下降...

专栏目录：任妍Carol：机器学习小白笔记目录

吴恩达课程链接：网易云课堂《神经网络和深度学习》

本节链接：2.3 Logistic回归损失函数2.4 梯度下降

---

回顾上节吴恩达《深度学习》笔记 2.1二分分类 2.2 Logistic函数 查看什么是Logistic函数

这节学习怎样才能构造一个好的Logistic函数，更好的体现数据的规律

Logistic代价函数

找到事物之间的规律可以更好的帮助我们进行预测，但是很少有情况就是我们找到的规律恰好一模一样的反映客观事实，总会有一定的偏差。 比方说预测中国明年的GDP增长速度，即使那么多经济学家、统计学家收集大量的数据，利用最先进的算法，也很难预测出一个绝对准确的数据。 但是他们总能预测出一个大差不差的数据，一个优秀的函数应该做到的是，大概预测出明年的GDP增速是6%左右，我们不希望这个函数预测出偏离实际太大的数据，像是1%，或者58%

对于Logistic函数也是一样的，误差肯定存在，但是我们希望这个误差尽可能的小小小，即实际值y和我们预测的值(y hat)的差距尽可能的小

使这两个值差距尽可能小有很多方法，下面列出的第一个公式就可以当做是一个方法，就是直接求差值的平方。不过我们为了后续计算方便（梯度下降寻找最优解）采用第二个公式。当然你也可以使用其他公式，只要能够反映出实际值y和预测值(y hat)差距尽可能小就OK 下面两个式子就是Loss (error) function（损失/误差函数，衡量实际值和预测值的误差

在一个样本集中，有m个样本，那么求Logistic函数的两个参数w和b的时候，可以把每一个样本的损失函数相加，使之尽可能小，这个函数叫做Logistic的代价函数

---

梯度下降

让代价函数尽可能小的方法就是梯度下降法，请重温[机器学习] 线性回归中的最小二乘法和梯度下降法比较这篇文章来了解

即不同的参数w和b对应不同的J函数值（即图中曲面的高度），我们需要寻找到使J最小的w和b的值，也就是图中的最低点（需要注意的是w其实是更高维的，但是为了方便显示，这里把w和b都看成是实数）：

由于这个函数像碗一样，我们不管从哪里开始，都可以按照梯度下降最终到达最低点（想象在碗里任何一个地方放一个弹球，都会下落到最低点）。

任取一点，然后按照下面的公式反复迭代，就可以最终得到符合要求的w和b了

总结：

1. Logistic代价函数就是使实际值和预测值尽可能小的函数，这样的函数可以构造很多，我们此处用了其中一种

2. 求使代价函数最小值时的w和b的值，我们采用梯度下降法

---

本系列笔记来自课程网易云课堂《神经网络和深度学习》

全部笔记请关注微信公众号【阿肉爱学习】，在菜单栏点击“利其器”，并选择“人工智能”查看

本节视频课程链接：2.3 Logistic回归损失函数2.4 梯度下降