吴恩达深度学习代码_吴恩达深度学习 第一课 第二章 神经网络基础(1)

1.二分类问题

对于图片分类的二分类问题，假设为彩色RGB图片，下图为

图片源自吴恩达深度学习

一般图片较低像素时为64*64，则每一张图片为

一共12288个像素点

图片源自吴恩达深度学习

将这个张量转换为向量即为12288*1的向量，如此便可作为神经网络的输入了。输出

,视频中此次的

与统计学习方法中表示的意思不同，此处表示第i个训练样本，统计学习方法中表示第i个特征。

2.logistic回归

输入x，输出

的概率，一般线性函数输出y=ax+b，有正有负，而logistic回归需要输出的结果为0-1之间的概率值，那么就需要将ax+b映射到0-1之间，即使用sigmoid函数

图片源自吴恩达深度学习

图片源自吴恩达深度学习

当z趋于正无穷时，

趋于0，1/(1+

)趋于1，当z趋于负无穷时，

趋于正无穷大，1/(1+

)趋于0。

3.logistic回归损失函数

首先考虑到的肯定是使用误差平方作为损失函数

然而，上式y-1/(1+

)不一定为凸函数，因此无法直接用梯度下降法求得。（插一句，上式中之所以最前面有1/2是为了消去求导后的2）

因此需要找到一个损失函数，既能满足需求，同时还是一个凸函数，即想到了交叉熵损失函数

当y(i)=1时，损失函数为

,要使损失函数极小，则需要让

极大，即

极大，而

的取值范围在0-1之间，那么

需要趋于1，即与真实标签越接近，损失函数越小。

同理可知，当y(i)=0时，损失函数为

，

趋于0时，损失函数越小。

成本函数，即针对所有样本，多个损失函数的平均

logistic回归可以看做是一个小的神经网络。

4.梯度下降法

由上可知，误差平方为非凸函数，而以交叉熵函数作为成本函数为凸函数，因此可以使用梯度下降法求解最小值。

(1)设定初始值w，b，可任意值

(2)朝最陡方向走一步，此处学习率

控制每一步走的大小

图片源自吴恩达深度学习

(3)直到走到底端

tip：

在多个变量求偏导数时使用，

在单变量求导数时使用。

5.导数

一次函数，斜率即导数，即高除以宽

图片源自吴恩达深度学习

二次函数，导数会变化

图片源自吴恩达深度学习

6.计算图

正向传播，一步一步计算

图片源自吴恩达深度学习

反向传播，分布求导，链式法则

图片源自吴恩达深度学习

tip：链式法则计算出的中间导数结果可以用于之后的每一次求导，可以减少计算量，提高效率

7.logistic回归中的梯度下降法

logistic回归的公式与损失函数上文已给出

图片源自吴恩达深度学习

单样本梯度下降

假设公式中设计到的参数有

，首先计算线性相乘的值，随后计算在logistic回归上的映射，最后计算损失函数L。

图片源自吴恩达深度学习

目的是求损失函数的最小值，因此需要对损失函数求导，利用链式法则向前分别求导。

多样本梯度下降