[笔记]Coursera Deep Learning笔记 逻辑回归典型的训练过程

Deep Learning 用逻辑回归训练图片的典型步骤. 学习Coursera上吴恩达老师Deep Learning第一课程前两周的笔记.

1. 处理数据

1.1. 向量化(Vectorization)

将每张图片的高和宽和RGB展为向量, 最终X的shape为 (height*width*3, m) .

1.2. 特征归一化(Normalization)

对于一般数据，使用标准化(Standardization), z_i = (x_i - mean) / delta , mean 与 delta 代表X的均值和标准差. 最终特征处于[-1, 1]区间.

对于图片, 可直接使用Min-Max Scaling, 即将每个特征除以255(每个像素分为R, G, B, 范围在0~255)使得值处于[0, 1].

2. 初始化参数

一般将 w 和 b 随机选择. 作业为了方便设为0了.

3. 梯度下降(Gradient descent)

根据 w , b 和训练集，来训练数据. 需要设定迭代次数与学习率.

以下为大循环(迭代次数)中内容:

3.1. 计算代价函数

对于$x^{(i)}\in X$, 有

$$z^{(i)}=w^T{x}^{(i)}+b$$

$$a^{(i)}={\hat{y}}^{(i)}=sigmoid(z^{(i)})=\sigma (z^{(i)})=\frac{1}{1+e^{-z^{(i)}}}$$

$$\mathcal{L}(a^{(i)},y^{(i)})=-y^{(i)}\log (a^{(i)})-(1-y^{(i)})\log (1-a^{(i)})$$

$$A=(a^{(1)},a^{(2)},...,a^{(m-1)},a^{(m)})=\sigma (w^{T}X+b)=\frac{1}{1+e^{-(w^{T}X+b)}}$$

$$J=-\frac{1}{m}\sum _{i=1}^m\mathcal{L}(a^{(i)},y^{(i)})=-\frac{1}{m}\sum _{i=1}^m(y^{(i)}log(a^{(i)})+(1-y^{(i)})log(1-a^{(i)}))$$

# 激活函数
A = sigmoid(w.T.dot(X) + b)
# 代价函数
cost = -np.sum(Y * np.log(A) + (1-Y) * np.log(1 - A)) / m

3.2. 计算反向传播的梯度

即计算导数.

注:
此处 $L(a,y)$ 即上面公式的 $\mathcal{L}(a^{(i)},y^{(i)})$ .
即 $L(a,y)=-y\log (a)-(1-y)\log (1-a)$ .
以下公式都省略了上标.

$$\frac{\partial L}{\partial a}=\frac{\partial L(a,y)}{\partial a}=-\frac{y}{a}+\frac{1-y}{1-a}$$

$$\frac{da}{dz}=(\frac{1}{1+e^{-z}}{)}^{\prime }=\frac{e^{-z}}{(1+e^{-z}{)}^2}=\frac{1}{1+e^{-z}}-\frac{1}{(1+e^{-z}{)}^2}=a-a^2=a\cdot (1-a)$$

$$\frac{\partial L}{\partial z}=\frac{\partial L}{\partial a}\frac{da}{dz}=(-\frac{y}{a}+\frac{1-y}{1-a})\cdot a\cdot (1-a)=a-y$$

$$\frac{\partial L}{\partial w}=\frac{\partial L}{\partial z}\frac{\partial z}{\partial w}=(a-y)\cdot x$$

$$\frac{\partial L}{\partial b}=\frac{\partial L}{\partial z}\frac{\partial z}{\partial b}=a-y$$

根据 $J=-\frac{1}{m}\sum L(a,y)$ 最终可得：

$$\frac{\partial J}{\partial w}=\frac{\partial J}{\partial a}\frac{\partial a}{\partial w}=\frac{1}{m}X(A-Y{)}^T$$

$$\frac{\partial J}{\partial b}=\frac{1}{m}\sum _{i=1}^m(a^{(i)}-y^{(i)})$$

dw = X.dot((A - Y).T) / m
db = np.sum(A - Y) / m

3.3. 更新 w , b

w = w - learning_rate * dw
b = b - learning_rate * db

4. 预测测试集

使用训练出来的 w , b , 对测试集使用 y_pred = sigmoid(wx+b) , 计算得预测的概率, 对其取整, 例如大于0.7则判定为’是’, 否则为’否’. Coursera作业是0.5就判定为’是’, 那么使用内建函数四舍五入即可.