吴恩达深度学习笔记整理（一）

吴恩达深度学习笔记整理（一）

本文根据吴恩达深度学习课程内容，抽取重要知识点进行整理，目录如下

Course 1 神经网络和深度学习

Week 1 Introduction to deep learning

在这一周的课程中，首先构建了一个预测房子价格的简单神经网络，输入为房子的大小，经过一个单个的神经元，输出为房子的价格。

根据预测房屋价格的问题，可以继续扩展，房屋的其他属性如：卧室的数量，所在的位置等等都和最后的房屋价格有关

为什么要使用深度神经网络？

Week 2 Basics of Neural Network programming

$n_x$ 或者n：输入向量的维度
$x$：输入数据，维度为$(n_x,1)$
$y$：输出数据
$(x^{(i)},y^{(i)})$:表示第i组数据
$X=[x^{(i)},x^{(2)},...,x^{(m)}]$:表示所有训练数据集的输入值，放在一个$n_x\ast m$的矩阵中，m表示样本数目。
$Y=[y^{(i)},y^{(2)},...,y^{(m)}]$:对应表示所有训练集的输出值

以最简单的Logistic Regression 为例
$\hat{y}=w^{T}x+b$
其中$w$为权重，是一个$(n_x,1)$的向量
$\hat{y}=P(y=1|x)0\le \hat{y}\le 1$
但$w^{T}x+b$不一定在[0,1]之间，所以需要激活函数
最终Output：$\hat{y}=\sigma (w^{T}x+b)$

对于单个样本的损失函数$L(\hat{y},y)$
在这里不用平方差来计算，使用对数函数
$L(\hat{y},y)=-ylog(\hat{y})-(1-y)log(1-\hat{y})$
对于整个算法代价函数$J(w,b)$

$J(w,b)=\frac{1}{m}{\sum }_{i=1}^{m}L(\widehat{y^{(i)}},y)$

应用梯度下降法：
$w:=w-\alpha \frac{\partial J(w,b)}{\partial w}$

$b:=b=\alpha \frac{\partial J(w,b)}{\partial b}$

这里在简单介绍一下计算图
举例：
$J(a,b,c)=3(a+bc)$
令 $u=bc$ , $v=a+u$ , $J=3v$
黑色为前向传播，红色为反向传播

Week 3 Shallow neutral networks

以下图所示的神经网络为例，$[m]$表示第m层网络中相关结点的数目

三个常用的激活函数

• sigmoid 函数

  $a=\sigma (z)=\frac{1}{1+e^{-z}}$

  导数：

  $\frac{d(g(z)}{dz}=\frac{1}{1+e^{-z}}(1-\frac{1}{1+e^{-z}})=g(z)(1-g(z))$

  $g^{\prime }(z)=g(z)(1-g(z))=a(1-a)$

  在$z$特别大或者特别小的情况下，导数的梯度会特别小，最后接近0，使梯度下降速度过小

• tanh函数

  $a=tanh(z)=\frac{e^z-e^{-z}}{e^z+e^{-z}}$

  导数：

  $\frac{dg(z)}{dz}=1-(tanh(z){)}^2$

  值域在-1到1之间，数据均值更接近0而不是0.5

• Relu函数

  $a=max(0,z)$

  导数：

  $$g^{\prime }(x)=\{\begin{array}{clc}0& & z<0\\ 1& & z>0\\ undefined& & z=0\end{array}$$

  z是正值的情况下，导数恒等于1，当z是负值的情况下，导数恒等于0

sigmoid 函数：除了是一个二分类问题基本不会用
tanh函数：几乎适合所有的场合
Relu函数：最常用的默认函数，不知道用什么函数就用它

Week 4 Deep neutral networks

输入的特征记作$x$，但$x$同样也是0层的激活函数后的结果 $x=a^{[0]}$
最后一层激活函数后的结果$a[l]$，也是这个神经网络所预测的输出结果

下面对矩阵的维数进行讨论：
$w$的维度：(下一层的维数，前一层的维数) $w^{[l]}:(n^{[l]},n^{l-1]})$

$b$的维度：(下一层的维数，1) $b^{[l]}:(n^{[l]},1)$

$z^{[l]},a^{[l]}:(n^{[l]},1)$

对多个样本向量化后得到$z^{[l]}$的维度：

$z^{[l]}:(n^{[l]},m)$

深层的网络隐藏单元数量相对较少，隐藏层数目比较多

下面是神经网络的计算过程：

一些超参
学习率(Learning Rate)：$\alpha$
梯度下降法循环的次数：iterations
隐藏层的数目：L
隐藏层的单元树木：$n^{[l]}$