【吴恩达Deep Learning】初学者学习记录2（神经网络/前后向传播）

 

目录

1.神经网络

1）神经网络的概述

2）神经网络的本质 

3）向量化的解释

 2.激活函数

1）sigmoid函数和tanh函数

2）ReLU函数（修正线性单元）和Leaky ReLU函数

3）神经网络的梯度下降法计算

3.代码中的前后向传播

---

1.神经网络

1）神经网络的概述

显而易见 ，神经网络分为三层。输入层，输入特征X（也可以用表示，能向下传递激活值,它是一个四维向量，python中表示为4*1的矩阵）。中间为隐藏层，“隐藏”就是输入到输出中的值，我们在训练中是看不见啊的。最后一层只带有一个节点，这个就是输出层，它负责输出并预测y帽的值(隐藏层维度举例（4，3）前面一个数表示隐藏层节点4，后面的数表示输入层特征3；输出层也有相关的向量维度（1，4）前者为输出层的节点数1，后者为隐藏层的节点数4）。

一般符号的约定是输入层不看作一个标准的层，只记隐藏层和输出层，因此上图的也称之为双层神经网络,第一层也指的是第一层的隐藏层。所以的右上角含义为第0层，即输入层。

2）神经网络的本质 

这个图代表了回归计算的两个步骤，而神经网络的本质就是重复这些步骤很多次，所以神经网络的本质是为函数。下面附带如何在python代码中实现定义sigmoid函数:

def sigmoid(z):
    """
    参数：
        z  - 任何大小的标量或numpy数组。

    返回：
        s  -  sigmoid（z）
    """
    s = 1 / (1 + np.exp(-z))
    return s

3）向量化的解释

 图中右侧上部为单个样本实现向量化（实现正向传播）的四个公式，需从1到m遍历，下部为多个样本向量化实现的公式（在符号表示中，大写的为多样本的符号，小写为单样本符号）。推导

此图为的吴恩达老师的推导过程，上部的划掉以0作为特殊值方便理解。等号前中的一系列值还需要加上才是真正的值。

 2.激活函数

1）sigmoid函数和tanh函数

sigmoid函数的图像在上面，tanh是下面的。但用老师的话tanh函数几乎在所有场合都比sigmoid函数更优越，例外是输出层（使得y帽的值介于0到1之间不是-1到1）和在制作二分类的时候 。

sigmoid函数的导数可以简化为：a'=a(1-a)   tanh函数导数：a'=1-

两个函数的缺点：当z值很大或很小的时候，梯度值会接近于零（ReLU函数能很好解决这个问题）。

2）ReLU函数（修正线性单元）和Leaky ReLU函数

ReLU函数的公式为a=max（0，z） 在代码运行中z几乎很难达到0。当不确定隐层用什么函数是可以选择ReLU函数。

Leaky ReLU函数 ：a=max(0.01z,z)

ReLU函数和Leaky ReLU函数可以使，在z=0处，令g'(z)为0.01或1（可以自己设置）

总而言之，当不知道用什么函数的时候，可以都试一试看哪个好。g(z)=z可以用于房地产价值预测

3.神经网络的梯度下降法计算

 

a = np.random.randn(4,3)
b = np.sum(a, axis = 1,keepdims = True) 
b.shape = (4,1)

其中keepdims = True 的目的是使得b.shape =（4，1）而不是（4，） 

3.代码中的前后向传播

根据课堂中所教内容可以在代码中实现以下代码

前向传播：

def linear_forward(X,parameters):
    """
    向前传播 + 激活
    :param X:
    :param parameters:
    :return A2:
    :return A_cache: 缓存
    """
    # 数据接收
    W1 = parameters["W1"] 
    b1 = parameters["b1"]
    W2 = parameters["W2"]
    b2 = parameters["b2"]
    # 向前传播并激活
    Z1 = np.dot(W1, X) + b1
    A1 = np.tanh(Z1)
    Z2 = np.dot(W2, A1) + b2
    A2 = sigmoid(Z2)

    A_cache = {"A1": A1,
               "A2": A2}

    return A2, A_cache

反向传播：

def linear_backward(parameters,A_cache,X,Y):
    """
    向后传播，计算梯度
    :param parameters:
    :param A_cache:
    :param X:
    :param Y:
    :return grads: 字典 - dW1，db1,dW2,db2
    """
    m = X.shape[1]

    W1 = parameters["W1"]
    W2 = parameters["W2"]

    A1 = A_cache["A1"]
    A2 = A_cache["A2"]

    dZ2 = A2 - Y
    dW2 = (1 / m) * np.dot(dZ2, A1.T)
    db2 = (1 / m) * np.sum(dZ2, axis=1, keepdims=True)
    dZ1 = np.multiply(np.dot(W2.T, dZ2), 1 - np.power(A1, 2))
    dW1 = (1 / m) * np.dot(dZ1, X.T)
    db1 = (1 / m) * np.sum(dZ1, axis=1, keepdims=True)

    grads = {"dW1": dW1,
             "db1": db1,
             "dW2": dW2,
             "db2": db2}

    return grads