吴恩达_神经网络与深度学习_神经网络基础

二分分类

 

 

回归

logistic 回归损失函数

注释：

Loss function 损失函数：只适用于单个训练样本，是衡量单一训练样例的效果；

Cost function 成本函数：基于参数的总成本，用于衡量参数w和b的效果。

注意：

在求损失函数的时候，误差平方，看起来似乎是一个合理的选择，但用这个的话，梯度下降法就不太好用，在logistic回归中，我们会定义一个不同的损失函数，它起着与误差平方相似的作用。

目的：

在训练logistic 回归模型时，要找到合适的参数w和b，让成本函数J尽可能地小。

 

梯度下降法

 

 

导数

 

更多导数的例子

 

计算图

 

计算图的导数计算

 

 

 

Logistic回归中的梯度下降法

单个样本实例的一次梯度更新步骤

其中公式中w1，w2分别与x1和x2相乘再相加是矩阵相乘的结果。

求导过程详解：吴恩达视频中——logistic回归中的梯度下降法前向传播时公式求导问题_nyist_yangguang的博客-CSDN博客

 

m个样本的梯度下降

幻灯片中的内容，只应用了一次梯度下降法，因此需要重复以上内容很多次，以应用多次梯度下降。

* 需要编写两次for循环，第一个for循环是遍历m个训练样本的小循环，第二个for循环，是遍历所有特征的for循环

有一门向量化的技术，帮助你的代码，摆脱这些显式的for循环。

在深度学习时代，用向量化摆脱for循环，已经变得相当重要。

 

向量化

向量化能够加速你的代码，经验法则是，只要有其他可能，就不要使用显式for循环

 

向量化的更多例子

 

向量化logistic回归

向量化logistic回归的梯度输出

python中的广播

关于python-numpy向量的说明

Jupyter Ipython笔记本的快速指南

logistic损失函数的解释