深度学习一《Neural Networks and Deep Learning》第二节 吴恩达

2.1 二分分类(Binary Classification)

Binary Classification: 目标是训练一个分类器，输入为一个图片的特征向量X，输出为预测的结果（0或者1）

• example : 输入图片像素矩阵为64*64，则RGB三通道值均为64*64的矩阵，则特征向量X则为 64*64*3维列向量，则输入向量X的总维度$n$或$n_x$=64*64*3 = 12288

Notation :

• (x,y)表示一个单独的样本，其中x是$n_x$维的特征向量，y$\in${0,1}
• m表示训练样本的数量，$(x^{(1)},y^{(1)})$表示第一个样本的输入和输出，$(x^{(2)},y^{(2)})$表示第二个样本的输入和输出，…，$(x^{(m)},y^{(m)})$表示第m个样本的输入和输出
  • m也可以写作$m_{train}$ ，如果是测试集，m也可写作$m_{test}$，即$m_{test}$ = # test examples
• $X=\left[\begin{array}{ccccc}{x}^{(1)}& x^{(2)}& x^{(3)}& \cdots & x^{(m)}\end{array}\right]$，其中$x^{(i)}\in {\mathbb{R}}^{n_x}$
  • X是$n_x$* m的矩阵，即$X\in {\mathbb{R}}^{n_x\ast m}$
  • 在python中，X.shape = ($n_x$,m)
• $Y=\left[\begin{array}{ccccc}{y}^{(1)}& y^{(2)}& y^{(3)}& \cdots & y^{(m)}\end{array}\right]$，其中$y^{(i)}\in${0,1}
  • $Y\in {\mathbb{R}}^{1\ast m}$
  • 在python中，Y.shape = (1,m)

2.2 逻辑回归(Logistic Regression)

logistic回归是一个在监督学习中用于二分分类的算法

logistic回归 :

• 给定x，想要得到 $\hat{y}=P(y=1|x)$，其中$x\in {\mathbb{R}}^{n_x}$ ，$0\le \hat{y}\le 1$
• 参数：$w\in {\mathbb{R}}^{n_x}$，$b\in \mathbb{R}$
• 输出：$\hat{y}=\sigma (w^{T}x+b)$
  • sigmoid函数$\sigma (z)=\frac{1}{1+e^{-z}}$，如果z很大，则$\sigma (z)$约等于1，如果z是很大的负数，则$\sigma (z)$约等于0
  • 用sigmoid函数使$0\le \hat{y}\le 1$
  • sigmoid函数图形如下

Notation :

• 在其他课程中，x会补一列$x_0=1$，此时的输入矩阵$x\in {\mathbb{R}}^{n_x+1}$，$\hat{y}=\sigma ({\theta }^{T}x)$
• $\theta =\left[\begin{array}{c}{\theta }_0\\ {\theta }_1\\ {\theta }_2\\ ⋮\\ {\theta }_{n_x}\end{array}\right]$，其中${\theta }_0$就是b，$\begin{array}{c}{\theta }_1,{\theta }_2,\cdots ,{\theta }_{n_x}\end{array}$就是这里的w

2.3 逻辑回归中的代价函数(Logistic Regression Cost Function)

为了训练出logistic回归中的w和b参数，需要定义一个代价函数(cost function)

Logistic Regression Cost Function :

• ${\hat{y}}^{(i)}=\sigma (w^T{x}^{(i)}+b)$,where $\sigma (z^{(i)})=\frac{1}{1+e^{-z^{(i)}}}$ and $z^{(i)}=w^T{x}^{(i)}+b$
• 给定一组训练集 {$(x^{(1)},y^{(1)}),\cdots ,(x^{(m)},y^{(m)})$} , 想要得到 ${\hat{y}}^{(i)}\approx y^{(i)}$
• Loss(error) Function : $\mathcal{L}(\hat{y},y)$衡量预测输出值$\hat{y}$和实际输出值y的接近程度
  $$\mathcal{L}(\hat{y},y)=-(ylog\hat{y}+(1-y)log(1-\hat{y}))$$
  • 当 y = 1时，$\mathcal{L}(\hat{y},y)=-log\hat{y}$，想要 $log\hat{y}$ 更大，需要 $\hat{y}$ 更大，又$0\le \hat{y}\le 1$，所以 $\hat{y}$ 要趋近于1
  • 当 y = 0时，$\mathcal{L}(\hat{y},y)=-log(1-\hat{y})$，想要 $log(1-\hat{y})$ 更大，需要 $\hat{y}$ 更小，又$0\le \hat{y}\le 1$，所以 $\hat{y}$ 要趋近于0
  • TIPS : 损失函数这个说法只适用于单个训练样本
• Cost Function :
  $$J(w,b)=\frac{1}{m}\sum _{i=1}^m\mathcal{L}({\hat{y}}^{(i)},y^{(i)})=-\frac{1}{m}\sum _{i=1}^m[y^{(i)}log{\hat{y}}^{(i)}+(1-y^{(i)})log(1-{\hat{y}}^{(i)})]$$
  • TIPS : 代价函数这个说法是基于整个训练集的术语

2.4 梯度下降法(Gradient Descent)

Gradient Descent：

• 从初始化的某一点朝着下降速度最快的方向直到收敛到局部最优解。在这里，我们用梯度下降法来找到使代价函数 J(w,b) 最小的 w 和 b 值
• 由于$J(w,b)=-\frac{1}{m}{\sum }_{i=1}^m[y^{(i)}log{\hat{y}}^{(i)}+(1-y^{(i)})log(1-{\hat{y}}^{(i)})]$，是个凸函数(convex function) ，所以梯度下降法找到的局部最优解就是 J(w,b) 的全局最优解
• Repeat $$w:=w-\alpha \frac{\partial J(w,b)}{\partial w}$$$$b:=b-\alpha \frac{\partial J(w,b)}{\partial b}$$其中$\alpha$称作学习率(learning rate)
  • 以后课程中，统一使用$dw$来代替$\frac{\partial J(w,b)}{\partial w}$，用$db$来代替$\frac{\partial J(w,b)}{\partial b}$

2.5 导数(Derivatives)

导数的物理意义：函数的斜率(slope = height / width)
对于直线来说，每个点的斜率都相同，即直线的导数是一个常数

2.6 更多导数的例子(More derivaitives examples)

一些导数不为常数的例子：

• $f(a)=a^2$，$\frac{\mathrm{d}f(a)}{\mathrm{d}a}=2a$
• $f(a)=a^3$，$\frac{\mathrm{d}f(a)}{\mathrm{d}a}=3a^2$
• $f(a)=lo{g}_e(a)/ln(a)$，$\frac{\mathrm{d}f(a)}{\mathrm{d}a}=\frac{1}{a}$

2.7 计算图(Computation Graph)

Example :

2.8 使用计算图求导(Derivatives with a Computation Graph)

Computing derivatives

• Final Output Variable : 计算图中的最后一个变量，如上图所示，J就是FinalOutputVariable
• $\frac{\mathrm{d}FinalOutputVariable}{\mathrm{d}var}$ 可以简写为 dJ/dvar，又因为总是对J求导，在程序中，我们可以简写为dvar
• Chain Rule ：链式法则，即$\frac{\mathrm{d}J}{\mathrm{d}a}=\frac{\mathrm{d}J}{\mathrm{d}v}\frac{\mathrm{d}v}{\mathrm{d}a}$

2.9 逻辑回归中的梯度下降法(Logistic Regression Gradient Descent)

前情回顾 ：
$$z=w^{T}x+b$$ $$\hat{y}=a=\sigma (z)$$$$\mathcal{L}(a,y)=-(ylog(a)+(1-y)log(1-a))$$
假设现在样本只有两个特征$x_1$和$x_2$，则
$$\begin{array}{c}{x}_1\\ w_1\\ x_2\\ w_2\\ b\end{array}\to z=w_1{x}_1+w_2{x}_2+b\to \hat{y}=a=\sigma (z)\to \mathcal{L}(a,y)$$ $$da=-\frac{y}{a}+\frac{1-y}{1-a}$$ $$dz=\frac{\mathrm{d}\mathcal{L}}{\mathrm{d}z}=\frac{\mathrm{d}\mathcal{L}}{\mathrm{d}a}\frac{\mathrm{d}a}{\mathrm{d}z}=(-\frac{y}{a}+\frac{1-y}{1-a})\cdot a(1-a)=a-y$$
$$\frac{\mathrm{d}\mathcal{L}}{\mathrm{d}{w}_1}=x_1\cdot dz\frac{\mathrm{d}\mathcal{L}}{\mathrm{d}{w}_2}=x_2\cdot dz\frac{\mathrm{d}\mathcal{L}}{\mathrm{d}b}=dz$$
Then
$$w_1:=w_1-\alpha d{w}_1$$ $$w_2:=w_2-\alpha d{w}_2$$ $$b:=b-\alpha db$$
以上即实现了单个样本的一次梯度下降更新

2.10 m个样本的梯度下降(Gradient descent on m examples)

同时需要用到逻辑回归和梯度下降算法：

J = 0; dw1 = 0; dw2 = 0; db = 0;
for i = 1 to m
	z(i) = w'*x(i) + b
	a(i) = sigma(z(i))
	J += -(y(i)log(a(i))+(1-y(i))log(1-a(i)))
	dz(i) = a(i) - y(i)
	dw1 += x1(i)*dz(i)
	dw2 += x2(i)*dz(i)	// n = 2
	db += dz(i)
J /= m; dw1 /= m; dw2 /= m; db /= m;
w1 = w1 - alpha*dw1
w2 = w2 - alpha*dw2
b = b - alpha*db

注：

• 因为dw1,dw2,db是作为累加器使用，所以没有上标，而dz是对于单个训练样本的dz，所以上标 i 是表示第 i 个样本的计算
• 以上的计算只是梯度下降的一轮计算，如果想要得到结果，需要多次循环
• 以上过程有个明显的缺点：它需要做两个 for 循环，一个是遍历 m 个训练样本的循环，一个是遍历 n 个样本特征的循环，在上例中，我们只有2个特征，即 n = nx = 2 ，但如果有更多的特征，显式的 for 循环会使算法变得低效，所以引入向量化(vectorization)方法代替显式循环

2.11 向量化(vectorization)

vectorization :
$$z=w^{T}x+b$$
Non-vectorized :

z = 0
for i in range(n-x):
	z+=w[i]*x[i]
z += b

Vectorized :

z = np.dot(w,x) + b 	// np.dot(w,x) = w的转置 * x

Tips :

• GPU(图像处理单元) & CPU 都有SIMD
• SIMD-single instruction multiple data单指令多数据流，如果使用了向量化的内置函数，将可以利用并行化更快速高效地完成计算

2.12 向量化的更多例子(More vectorization examples)

神经网络编程准则：

• 尽量避免使用 for 循环

常用numPy库内置函数：

• np.zeros(size) – 生成全零矩阵
• np.exp(matrix) – 矩阵中每个元素都取 e 的指数
• np.log(matrix) – 矩阵中每个元素都取 log 以 e 为底的对数
• np.abs(matrix) – 矩阵中每个元素都取绝对值
• np.maximum(matrix,value) – 取矩阵中所有元素与value相比后的最大值
• matrix ** 2 – 矩阵中每个元素均取平方值
  • 取平方要求矩阵为方阵
• 1/matrix – 矩阵中每个元素取倒数

用向量化方法来省略一个 for 循环：

2.13 向量化逻辑回归(Vectorizing Logistic Regression)

$$z^{(i)}=w^T{x}^{(i)}+b$$ $$a^{(i)}=\sigma (z^{(i)})$$
定义 X 矩阵 shape = $(n_x,m)$:
$$X=\left[\begin{array}{ccccc}{x}^{(1)}& x^{(2)}& x^{(3)}& \cdots & x^{(m)}\end{array}\right]$$
Z 矩阵 shape = $(1,m)$，$w^T$ 矩阵 shape = $(1，n_x)$，b 矩阵 shape = $(1,m)$，则：
$$Z=[z^{(1)},z^{(2)},\cdots ,z^{(m)}]=w^{T}X+[b,b,\cdots ,b]=[w^T{x}^{(1)}+b,w^T{x}^{(2)}+b,\cdots ,w^T{x}^{(m)}+b]$$
A 矩阵 shape= $(1,m)$，则：
$$A=[a^{(1)},a^{(2)},\cdots ,a^{(m)}]=\sigma (Z)$$
Python numPy中：

Z = np.dot(w.T, X) + b	
A = 1/(1+np.exp(-Z))

Notation :
b是一个实数，但在python中会自动扩展为一个（1，m）的矩阵和前面矩阵相加，称为BroadCasting

2.14 向量化逻辑回归中的梯度计算(Vectorizing Logistic Regression’s Gradient Computation)

$$d{z}^{(i)}=a^{(i)}-y^{(i)}$$

定义 dZ 矩阵 shape = $(1,m)$，A 矩阵 shape= $(1,m)$，Y 矩阵 shape= $(1,m)$，则：
$$dZ=[d{z}^{(1)},d{z}^{(2)},\cdots ,d{z}^{(m)}]=A-Y=[a^{(1)}-y^{(1)},a^{(2)}-y^{(2)},\cdots ,a^{(m)}-y^{(m)}]$$
db 矩阵 shape = $(1,1)$，dw 矩阵 shape = $(n_x,1)$
$$db=\frac{1}{m}\sum _{i=1}^{m}d{z}^{(i)}$$ $$dw=\frac{1}{m}Xd{Z}^T=\frac{1}{m}\left[\begin{array}{cccc}{x}^{(1)}& x^{(2)}& \cdots & x^{(m)}\end{array}\right]\left[\begin{array}{c}d{z}^{(1)}\\ d{z}^{(2)}\\ ⋮\\ x^{(m)}\end{array}\right]=\frac{1}{m}[x^{(1)}d{z}^{(1)}+\cdots +x^{(m)}d{z}^{(m)}]$$

Python numPy中：

dZ = A - Y
db = 1/m * np.sum(dZ)
dw = 1/m * X * dZ.T

如果想完整实现一次逻辑回归中梯度下降的迭代，则还需要对 w , b 进行赋值更新：

w = w - alpha * dw
b = b - alpha * db

当然，如果要做梯度下降的多次迭代，仍然需要用到 for 循环

2.15 Python中的广播(Broadcasting in Python)

通用准则 ：

• m * n 的矩阵 加减乘除 m * 1 或 1* n 的向量，向量会自动复制为 m * n 的矩阵做运算

2.16 Python numPy向量的说明(A note on python numpy vectors)

Example :

a = np.random.randn(5)
// a.shape = (5,)  means "rank 1 array"
a = np.random.randn(5,1)
// a.shape = (5,1) means "column vector"
a = np.random.randn(1,5)
// a.shape = (1,5) means "row vector"

可以用assert语句检查矩阵的维度：

assert(a.shape == (5,1))

可以用reshape语句更改矩阵的维度：

a = a.reshape((5,1))

2.17 Jupyter notebook的快速指南(Quick tour of Jupyter notebooks)

介绍Coursera课程作业中的基本操作：

• shift + Enter – 运行
• Markdown 文本运行后即可出现正常文本格式

2.18 逻辑回归代价函数的解释说明（选修）(Explanation of logistic regression cost function (Optional))

If y = 1 : $$p(y|x)=\hat{y}$$
If y = 0 : $$p(y|x)=1-\hat{y}$$

合并以上两种情况后得： $$p(y|x)={\hat{y}}^y\cdot (1-\hat{y}{)}^{(1-y)}$$

由于log函数严格递增，所以：
$$logp(y|x)=log({\hat{y}}^y(1-\hat{y}{)}^{(1-y)})=ylog\hat{y}+(1-y)log(1-\hat{y})=-\mathcal{L}(\hat{y},y)$$
以上为单个训练样本的损失函数说明

Tips : 损失函数前面有负号是因为当期望输出值为1的概率越大时，损失函数应该越小，即预测的输出与实际输出差距越小

而对于 m 个训练样本的代价函数，如果所有样本的分布服从同一分布且相互独立，则整个训练集中标签的概率为：
$$p(labelsintrainingset)=\prod _{i=1}^{m}p(y^{(i)}|x^{(i)})$$
等式两边对对数得：
$$logp(labelsintrainingset)=\sum _{i=1}^{m}logp(y^{(i)}|x^{(i)})=-\sum _{i=1}^m\mathcal{L}({\hat{y}}^{(i)},y^{(i)})$$
我们期望标签在训练集中的概率更大，即损失函数越小，则代价函数越小，所以代价函数定义为：
$$J(w,b)=\frac{1}{m}\sum _{i=1}^m\mathcal{L}({\hat{y}}^{(i)},y^{(i)})$$
Tips :

• 1/m 为常数因子，为给代价函数适当缩放
• labels in training set的概率在二分分类中可以理解为预测信息为1的概率
• 求概率最大值时的参数估计用到最大似然估计(maximum likelihood estimate)，此处的代价函数需要去掉负号并乘上缩放因子1/m