【深度学习-吴恩达】L1-2 神经网络基础

L1 深度学习概论

2 神经网络基础

课程视频共145min6s

2.1 二分分类

Binary Classification

一些表示方法

• m：数据集的规模
  • m_train ：训练集规模
  • m_test：测试集规模
• n_x：输入特征向量的维度，简写为n
• (x, y)：一组单独训练样本
• y：在二分类中，0/1的输出结果，即y∈{0, 1}
• x：n_x维度的输入特征向量，即x∈R^n_x
• 训练集：{(x⁽¹⁾, y⁽¹⁾), (x⁽²⁾, y⁽²⁾), …, (x^(m), y^(m))}
  • X=[x⁽¹⁾, x⁽²⁾, …, x^(m)]
    • X ∈ R^{n_x × m}
    • X.shape=(n_x, m)
  • Y=[y⁽¹⁾, y⁽²⁾, …, y^(m)]
    • Y∈R^1×m
    • Y.shape = (1, m)

2.2 Logisitc回归

logistic回归：二分分类算法，输出标签0/1

Given x, want $\hat{y}$ = P(y = 1 | x)

若线性回归，则$\hat{y}$ = w^Tx + b

• 值不会在[0, 1]之间，可以很大或者负值

Sigmoid函数，$$\hat{y}=\sigma (w^{T}x+b)$$

• $$\sigma (z)=\frac{1}{1+e^{-}z}$$

• 0到1之间

• 极限接近0或者1

• 学习参数$w$和$b$

• 另一种表示方式（不重要）

  • $$\hat{y}=\sigma ({\theta }^{T}x)$$

  • 其中输入x默认x₀ = 1，所以x∈R^n_x+1

  • $${\theta }^T=\left(\begin{array}{c}{\theta }_0\\ {\theta }_1\\ ⋮\\ {\theta }_{n_x}\end{array}\right)$$

  • 其中${\theta }_0$与x₀相乘，即为b

  • ${\theta }_1$到${\theta }_{n_x}$即为$w^T$

2.3 Logistic回归损失函数

使用上标$(i)$来指明数据

• $$\sigma (z^{(i)})=\frac{1}{1+e^{-z^{(i)}}}$$

损失函数$L(\hat{y}-y)$ loss function

• 适用于单个训练样本

• $$L(\hat{y}-y)=-(ylog\hat{y}+(1-y)log(1-\hat{y}))$$

  • 若y = 1，则$$L(\hat{y}-y)=-log\hat{y}$$
    • 损失函数较小，则期望$\hat{y}$较大，接近1
  • 若y = 0，则$$L(\hat{y}-y)=log(1-\hat{y})$$
    • 损失函数较小，则期望$\hat{y}$较小，接近0

成本函数 cost function

• 参数的总成本

• $$J(w,b)=\frac{1}{m}\sum _{i=1}^{m}L({\hat{y}}^{(i)}-y^{(i)})=-\frac{1}{m}\sum _{i=1}^m(y^{(i)}log{\hat{y}}^{(i)}+(1-y^{(i)})log(1-{\hat{y}}^{(i)}))$$

2.4 梯度下降法

希望找到最小的$J(w,b) $

$J(w,b) $是一个凸函数，由此从任何初始点，容易获得相似的最终位置，即全局最优解

$$\begin{gathered} w:=w-\alpha \frac{dJ(w,b)}{dw} \\ b:=b-\alpha \frac{dJ(w,b)}{db} \end{gathered}$$

• $\alpha$：学习率

• 更新$w,b$，迭代学习，直到最优点

• 求导严格来讲，两个及以上变量时候，应该使用$\partial$

• 编程时候常使用dw、db变量

2.5 导数

$f(a)=3a$

$\frac{d}{da}f(a)=3$

derivative 导数

slope 斜率

2.6 导数2

$f(a)=a^2$ $\frac{d}{da}f(a)=2a$

$f(a)=3a$ $\frac{d}{da}f(a)=3$

$f(a)=ln(a)$ $\frac{d}{da}f(a)=\frac{1}{a}$

2.7 计算图

$J(a,b,c)=3(a+bc)$

计算图：从左到右的计算

2.8 使用计算图求导

导数：计算图从右到左计算

链式法则

$\frac{dJ}{dv}=3$

$\frac{dJ}{da}=3$

$\frac{dJ}{du}=3$

$\frac{dJ}{db}=3c$

一些编程时候，想要最终结果的某个导数$\frac{dFindOutputVar}{dvar}$通常记作dvar变量

2.9 Logistic回归中的梯度下降法

logistic回归回顾

• $z=w^{T}x+b$
• $\hat{y}=a=\sigma (z)$
• $L(a,y)=-(ylog(a)+(1-y)log(1-a))$

两个输入特征的计算图

变量da = $\frac{dL(a,y)}{da}=-\frac{y}{a}+\frac{1-y}{1-a}$

变量dz = $\frac{dL}{dz}=a-y$

变量dw1 = $\frac{dL}{d{w}_1}=x_1(a-y)$

变量dw2 = $\frac{dL}{d{w}_1}=x_2(a-y)$

变量db = $\frac{dL}{d{w}_1}=a-y$

单样本的梯度下降法求解：

$w_1:= w_1 - \alpha\frac{dL}{dw_1}\$

$w_2:= w_2 - \alpha\frac{dL}{dw_2}\$

$b:= b - \alpha\frac{dL}{db}\$

2.10 多样本的梯度下降法

$J(w,b) = \frac{1}{m}\sum_{i = 1}^{m} L(a^{(i)} - y^{(i)}) $

• 所有样本损失函数的平均值

$a^{(i)}={\hat{y}}^{(i)}=\sigma (w^T{x}^{(i)}+b)$
$$\frac{\partial }{\partial w_1}J(w,b)=\frac{1}{m}\sum _{i=1}^m\frac{\partial }{\partial w_1}L(a^{(i)}-y^{(i)})$$
一个例子

$J=0,d{w}_1=0,d{w}_2=0,db=0$

For i=1 to m

​ $z^{(i)}=w^{T}x(i)+b$

​ $a^{(i)}=\sigma (z^{(i)})$

​ $J+=-(y^{(i)}log(a^{(i)})+(1-y^{(i)})log(1-a^{(i)}))$

​ $d{z}^{(i)}=a^{(i)}-y^{(i)}$

​ $d{w}_1+=x_1^{(i)}d{z}^{(i)}$

​ $d{w}_2+=x_2^{(i)}d{z}^{(i)}$

​ $db+=d{z}^{(i)}$

$J/=m$

$d{w}_1/=m;d{w}_1/=m;db/=m$

$w_1:=w_1-\alpha d{w}_1$

$w_2:=w_2-\alpha d{w}_2$

$b:=b-\alpha b$

• 两个缺点
  • 需要两个循环，一个循环m个样本，另一个循环n个特征
    • 显式使用for循环效率较低
    • 使用向量化进行优化
  • ？另一个缺点没说

2.11 向量化

Vectorization

非向量化版本

z = 0
for i in range(nx):
    z += w[i]*x[i]
z += b

向量化版本

z = np.dot(w, x) + b

• GPU和CPU都有并行化指令SIMD
  • 单指令流多数据流
  • numpy能充分利用并行化提速，而不要显式使用for循环

2.12 向量化2

避免for循环

• 计算eⁿ矩阵

  u = np.exp(v)

• 计算log值

  np.log(v)

• 计算绝对值

  np.abs(v)

• 计算最大值

  np.maxinum(v)

logistic回归非向量化版本

$J=0,d{w}_1=0,d{w}_2=0,db=0$

For i=1 to m

​ $z^{(i)}=w^{T}x(i)+b$

​ $a^{(i)}=\sigma (z^{(i)})$

​ $J+=-(y^{(i)}log(a^{(i)})+(1-y^{(i)})log(1-a^{(i)}))$

​ $d{z}^{(i)}=a^{(i)}-y^{(i)}$

​ $d{w}_1+=x_1^{(i)}d{z}^{(i)}$

​ $d{w}_2+=x_2^{(i)}d{z}^{(i)}$

​ $db+=d{z}^{(i)}$

J /= m

$d{w}_1/=m;d{w}_1/=m;db/=m$

$w_1:=w_1-\alpha d{w}_1$

$w_2:=w_2-\alpha d{w}_2$

$b:=b-\alpha db$

logistic回归向量化版本

$J=0,dw=np.zeros((n_x,1)),db=0$

For i=1 to m

​ $z^{(i)}=w^{T}x(i)+b$

​ $a^{(i)}=\sigma (z^{(i)})$

​ $J+=-(y^{(i)}log(a^{(i)})+(1-y^{(i)})log(1-a^{(i)}))$

​ $d{z}^{(i)}=a^{(i)}-y^{(i)}$

​ $dw+=x^{(i)}d{z}^{(i)}$

​ $db+=d{z}^{(i)}$

J /= m

$dw/=m;db/=m$

$w_1:=w_1-\alpha d{w}_1$

$w_2:=w_2-\alpha d{w}_2$

$b:=b-\alpha db$

2.13 向量化3

计算正向传播
$$\begin{gathered} Z=[z^{(1)}{z}^{(2)}\dots z^{(m)}] \\ =w^{T}X+[bb\dots b] \\ =[w^T{x}^{(1)}+b{w}^T{x}^{(2)}+b\dots w^T{x}^{(m)}+b] \end{gathered}$$
在b为常数时候，由此使用一行代码可以进行计算，无需使用for循环：

Z = np.dot(w^T, X) + b

其中b为常数，在Python中会广播为1×m向量

2.14 向量化4

同时计算m个数据集参数

非向量法：

• dZ定义：
  $$\begin{gathered} d{z}^{(1)}=a^{(1)}-y^{(1)} \\ d{z}^{(2)}=a^{(2)}-y^{(2)} \\ ⋮ \\ d{z}^{(m)}=a^{(m)}-y^{(m)} \\ dZ=[d{z}^{(1)}d{z}^{(2)}\dots d{z}^{(m)}] \end{gathered}$$
• dZ用A和Y表示
  $$\begin{gathered} A=[a^{(1)}\dots a^{(m)}]Y=[y^{(1)}\dots y^{(m)}] \\ =>dZ=A-Y=[a^{(1)}-y^{(1)}\dots a^{(m)}-y^{(m)}] \end{gathered}$$
• 计算dw
  $$\begin{gathered} dw=0 \\ d{w}_1+=x_1^{(1)}d{z}^{(1)} \\ d{w}_2+=x_2^{(2)}d{z}^{(2)} \\ ⋮ \\ d{w}_n+=x_n^{(n)}d{z}^{(n)} \\ dw/=dw \\ 计算db \\ db+=d{z}^{(1)} \\ db+=d{z}^{(2)} \\ ⋮ \\ db+=d{z}^{(n)} \end{gathered}$$
• 向量法：
  $$\begin{gathered} db=\frac{1}{m}\sum _{i=1}^{m}d{z}^{(i)}=\frac{1}{m}np.sum(dZ) \\ dw=\frac{1}{m}Xd{Z}^T=\frac{1}{m}[x^{(1)}\dots x^{(m)}][d{z}^{(1)}\dots d{z}^{(m)}{]}^T \end{gathered}$$

具体实现：

For iter in range(1000): #多次迭代更新参数

​ $Z=w^{T}X+b=np.dot(w^T,x)+b$

​ $A=\sigma (Z)$

​ $dZ=A-Y$

​ $dw=\frac{1}{m}Xd{Z}^T$

​ $db=\frac{1}{m}np.sum(dZ)$

​ $w:=w-\alpha dw$

​ $b:=b-\alpha db$

2.15 Python中的广播

广播的例子

#求列的和，行使用axis=1
cal = A.sum(axis = 0)
percentage = 100 * A / (cal.reshape(1, 4))

统用法则

• m*n矩阵，进行加法或者减法
  • (1, n) / (m, 1) -> (m, n)

2.16 Python Numpy的说明

优势

• 语言表现能力更强

劣势

• 容易出现细微的错误

尽量避免使用秩为1的矩阵

2.17 Jupyter使用指南

作业链接：https://www.heywhale.com/home/column/5e8181ce246a590036b875f9

2.18 Logistic损失函数解释

损失函数$L$

• If y=1: P(y|x) = $\hat{y}$

• If y=0: P(y|x) = $1-\hat{y}$

• $P(y|x)={\hat{y}}^y(1-\hat{y}{)}^{(1-y)}$

• $logP(y|x)=ylog\hat{y}+(1-y)log(1-\hat{y})=-L(\hat{y},y)$

成本函数$J$：

$$\begin{gathered} P(labelsintrainset)=\prod _{i=1}^{m}P(x^{(i)}|y^{(i)}) \\ logP(labelsintrainset)=log\prod _{i=1}^{m}P(x^{(i)}|y^{(i)})=-\sum _{i=1}^{m}L({\hat{y}}^{(i)},y^{(i)}) \\ J(w,b)=\frac{1}{m}\sum _{i=1}^{m}L({\hat{y}}^{(i)}-y^{(i)}) \end{gathered}$$