《吴恩达深度学习》01神经网络和深度学习（第2周神经网络基础）

01. 神经网络和深度学习

第二周 神经网络基础

2.1 二分分类

1. 图片在计算机中的保存：三通道（红，绿，蓝）
2. $X=[x^{(1)},x^{(2)},\cdots ,x^{(m)}]$，每个列向量为一个样本。

2.2 logistic回归

1. 给定$x$，目的是求$\hat{y}=P(y=1|x)$。
2. sigmoid函数
   $\sigma (z)=\frac{1}{1+e^{-z}}$
   
3. logistic回归
   $\hat{y}=\sigma (w^T+b)$

2.3 logistic回归损失函数

1. 平方损失函数（在logistic中不常用，因为会导致非凸）
   $L(\hat{y},y)=\frac{1}{2}(\hat{y}-y{)}^2$
2. 熵损失函数
   $L(\hat{y},y)=-(ylog\hat{y}+(1-y)log(1-\hat{y}))$
3. 成本函数
   $Jj(w,b)=\frac{1}{m}{\sum }_{i=1}^{m}L({\hat{y}}^{(i)},y^{(i)})$

2.4 梯度下降法

1. 流程
   $w:=w-\alpha \frac{\partial J(w,b)}{\partial w}$
   $b:=b-\alpha \frac{\partial J(w,b)}{\partial b}$

2.5 导数

2.6 更多导数的例子

2.7 计算图

1. 举例：$J(a,b,c)=3(a+bc)$
   

2.8 计算图的导数计算

1. 计算图
   
2. 链式法则
3. 代码中常用变量：dvar，最终关心的输出变量的导数

2.9 logistic回归中的梯度下降法

1. 计算图
   

2.10 m个样本的梯度下降

$$\begin{gathered} J=0;d{w}_1=0;d{w}_2=0;db=0 \\ fori=1tom \\ {z}^{(i)}=w^T{x}^{(i)}+b \\ {a}^{(i)}=\sigma (z^{(i)}) \\ J+=-[y^{(i)}log{a}^{(i)}+(1-y^{(i)})log(1-a^{(i)})] \\ d{z}^{(i)}=a^{(i)}-y^{(i)} \\ d{w}_1+=x_1^{(i)}d{z}^{(i)} \\ d{w}_2+=x_2^{(i)}d{z}^{(i)} \\ db+=d{z}^{(i)} \\ J/=m \\ d{w}_1/=m,d{w}_2/=m,db/=m; \end{gathered}$$
2. 问题：两次for循环，较为低效
3. 解决方法：向量化

2.11 向量化

1. 什么是向量化
   $z=w^{T}x+b$
2. 非向量化代码
   $$\begin{gathered} z=0 \\ foriinrange(n-x):z+=w[i]\ast x[i]z+=b \end{gathered}$$
3. 向量化代码
   $z=np.dot(w,x)$

2.12 向量化的更多例子

1. 神经网络编程指南
   (1) 只要可能，尽量少用for循环；
2. numpy常用函数：log, abs, maximum,**
3. 向量化logistic梯度下降

2.13 向量化logistic回归

1. $Z=w^{T}X+b$
2. $Z=np.dot(w.T,X)+b$
3. $A=\sigma (Z)$

2.14 向量化logistic回归的梯度输出

1. $dz=[d{z}^{(1)},d{z}^{(2)},\cdots {,}^{(m)}]$
2. $dz=A-Y$
3. $db=\frac{1}{m}np.sum(dZ)$
4. $dw=\frac{1}{m}Xd{z}^T$

2.15 Python中的广播

1. 广播可以使python运行更搞笑
2. 例子（求每种食物中热量占比）
   
3. 代码
   $cal=A.sum(axis=0)$
   $percentage=100\ast A/(cal.reshape(1,4))$
   增加reshape确保矩阵维度正确
4. 广播举例
   
5. 广播通用规则
   $(m,n)+-\ast /(1,n)\to (m,n)$
   $(m,n)+-\ast /(m,1)\to (m,n)$
   $(m,1)+(1,1)\to (m,1)$
   $(1,n)+(1,1)\to (1,n)$

2.16 关于python numpy向量的说明

1. 不要使用$(n,)$形式的数据结构
   例子：$a=np.random.rand(5)\to a=np.random.randn(5,1)$
2. 使用声明
   例子：$assert(a.shape==(5,1))$
3. 重塑矩阵
   例子：$a=a.reshape((5,1))$

2.17 Jupyter ipython笔记本的快速指南

2.18 logistic损失函数的解释