李宏毅机器学习Task5

1.逻辑回归（logistic regression）

     对于给定的一个x ，我们想要得到$\hat{y}=P(y=1|x)$ ，其中，$x\in R^{n_x}$, $0\le \hat{y}\le 1$

1.1损失函数

对于${\hat{y}}^{(i)}=sigmoid(W^T+b)$，我们想要得到${\hat{y}}^{(i)}\approx y^{(i)}$，因此定义损失函数
$$L(\hat{y},y)=-y\log (\hat{y})-(1-y)\log (1-\hat{y})$$

原理：
$$ify=1,L(\hat{y},y)=-y\log (\hat{y}),此时L\downarrow ,\log (\hat{y})\uparrow ,所以y\uparrow$$

$$ify=0,L(\hat{y},y)=-(1-y)\log (1-\hat{y}),此时L\downarrow ,\log (\hat{y})\uparrow ,所以y\downarrow$$

代价函数:
$$J(W,b)=-\frac{1}{m}\sum _{i=1}^m[y^{(i)}\log (\widehat{y^{(i)}})+(1-y^{(i)})\log (1-\widehat{y^{(i)}})]$$

1.2梯度下降

正向传播原理如下：（以两个输入为例子）
$$(x_1,x_2,w_1,w_2,b)⟶Z=w_1{x}_1+w_2{x}_2+b⟶a=\sigma (Z)⟶L(a,y)$$

通过上式的的流程，我们通过所学过的链式法则，分别算出
$$da=\frac{dL}{da}=-\frac{y}{a}+\frac{1-y}{1-a}$$

$$dz=\frac{dL}{dz}=a-y$$

$$d{w}_1=\frac{dL}{d{w}_1}=\frac{dL}{dz}\ast \frac{dz}{d{w}_1}=x_{1}dz$$

$$d{w}_2=\frac{dL}{d{w}_2}=\frac{dL}{dz}\ast \frac{dz}{d{w}_2}=x_{2}dz$$

$$db=dz$$

以上式子就是进行一次反向传播之后得到的结果，此时需要更新参数：
$$w:=w-\alpha dw$$

$$b:=w-\alpha db$$

1.3代码实现

 for i in np.arange(num_iter):
        # grads,cost = propagate(w, b, X, Y)
        m = X.shape[1]
        A = sigmoid(np.dot(w.T, X) + b)
        dz = A - Y
        dw = np.dot(X, dz.T) / m
        db = np.sum(dz) / m
        cost = -1 / m * np.sum(Y * np.log(A) + (1 - Y) * np.log(1 - A))
        assert (dw.shape == w.shape)
        assert (db.dtype == float)
        w = w - learnint_rate * dw
        b = b - learnint_rate * db

2.softmax

2.1原理

     上面所讲述的逻辑回归主要是用于二分类问题，输出层只有一个输出。而对于多分类问题，列如识别手写数字，需要10个输出，因此输出层需要使用softmax激活函数。

$$Z^{[L]}=W^{[L]}{a}^{[L-1]}+b^{[L]}$$

$$a_i^{[L]}=\frac{e_i^{[L]}}{{\sum }_{i=1}^C{e}^{z_i^{[L]}}}$$

输出层满足$a_i^{[L]}$满足：（C表示输出个数）
$$\sum _{i=1}^C{a}_i^{[L]}=1$$

所有的a_i^{[L]}维度为(C,1)

2.2损失函数

利用交叉熵误差的方法，由于标签数据是one-hot的形式，因此cost可以是下面的式子：
$$J=\frac{1}{m}\sum _{i=1}^m(-\log (\hat{y}))$$

2.3梯度下降

与1.2的逻辑回归梯度下降差不多，因为只有输出层不同，一个是sigmoid或者relu等激活函数，一个是softmax激活函数，通过对链式法则的理解，我们只要知道输出层的dZ就可以跟着1.2的算法推导出其他的式子了。
$$dz=\frac{dL}{da}=a-y$$
（高等数学微积分知识，草稿纸慢慢算吧，反正答案是这个）