学习目标:
- 吴恩达深度学习课程lesson1-week3
学习内容:
3.1 神经网络概述(Neural Network Overview)
3.2 神经网络的表示(Neural Network Representation)
3.3 计算一个神经网络的输出(Computing a Neural Network's output)
3.4 多样本向量化(Vectorizing across multiple examples)
3.5 激活函数(Activation functions)
学习时间:
- 10.7-10.8
学习产出:
3.1 神经网络概述(Neural Network Overview)
简单的神经网络模型:
正向计算:
反向传播:
3.2 神经网络的表示(Neural Network Representation)
输入特征x1、x2、x3,它们被竖直地堆叠起来,这叫做神经网络的输入层。
然后这里有另外一层我们称之为隐藏层(中间的四个结点)。隐藏表示中间的数据参数是看不见的,而输入输出是可以被外界看见的。
最后一层只由一个结点构成,而这个只有一个结点的层被称为输出层,它负责产生预测值。
输入层是不算入总层数内,所以隐藏层是第一层,输出层是第二层。第二个惯例是我们将输入层称为第零层。
3.3 计算一个神经网络的输出(Computing a Neural Network's output)
每一个神经元节点内的计算:
第一步,计算z1[1]=w1[1]Tx+b1[1]。
第二步,通过激活函数计算a1[1]=σ(z1[1])。
向量化的神经网络计算:
3.4 多样本向量化(Vectorizing across multiple examples)
3.3中的计算只有单个样本的计算。多个样本需要进行向量化矩阵计算即可。
3.5 激活函数(Activation functions)
四个常用的激活函数:
sigmoid函数:在二分类的问题中,对于输出层,因为y的值是0或1,所以想让y^的数值介于0和1之间,而不是在-1和+1之间。所以需要使用sigmoid激活函数。
tanh函数:tanh函数或者双曲正切函数是总体上都优于sigmoid函数的激活函数。 因为函数值域在-1和+1的激活函数,其均值是更接近零均值的。在训练一个算法模型时,如果使用tanh函数代替sigmoid函数中心化数据,使得数据的平均值更接近0而不是0.5。
以上两者的共同缺点是,在z特别大或者特别小的情况下,导数的梯度或者函数的斜率会变得特别小,最后就会接近于0,导致降低梯度下降的速度。学习速度在z特别大或者特别小的时候很慢。
ReLu函数:a=max(0,z) 所以,只要z是正值的情况下,导数恒等于1,当z是负值的时候,导数恒等于0。
Leaky Relu函数:当z是负值时,这个函数的值不是等于0,而是轻微的倾斜,其他情况与ReLu函数无异。
两者的优点是:
第一,在z的区间变动很大的情况下,激活函数的导数或者激活函数的斜率都会远大于0,在程序实现就是一个if-else语句,而sigmoid函数需要进行浮点四则运算,在实践中,使用ReLu激活函数神经网络通常会比使用sigmoid或者tanh激活函数学习的更快。
第二,sigmoid和tanh函数的导数在正负饱和区的梯度都会接近于0,这会造成梯度弥散,而Relu和Leaky ReLu函数大于0部分都为常数,不会产生梯度弥散现象。(同时应该注意到的是,Relu进入负半区的时候,梯度为0,神经元此时不会训练,产生所谓的稀疏性,而Leaky ReLu不会有这问题)
选择函数的经验:
sigmoid激活函数:除了输出层是一个二分类问题基本不会用它。
tanh激活函数:tanh是非常优秀的,几乎适合所有场合。
ReLu激活函数:最常用的默认函数,如果不确定用哪个激活函数,就使用ReLu或者Leaky ReLu。
为什么需要非线性激活函数?
如果你是用线性激活函数或者叫恒等激励函数,那么神经网络只是把输入线性组合再输出。这样的神经网络节点再多都是无用的。
不能在隐藏层用线性激活函数,可以用ReLU或者tanh或者leaky ReLU或者其他的非线性激活函数,唯一可以用线性激活函数的通常就是输出层;除了这种情况,会在隐层用线性函数的,除了一些特殊情况,比如与压缩有关的,那方面在这里将不深入讨论。在这之外,在隐层使用线性激活函数非常少见。