一些DNN|RNN|CNN知识总结

激活函数：

深度学习领域最常用的10个激活函数，一文详解数学原理及优缺点|深度学习|梯度_新浪科技_新浪网

机器学习/深度学习 的激活函数，原理以及各自的优缺点。

在人工神经网络中，一个节点的激活函数定义了该节点在给定的输入或输入集合下的输出。

 

 

1. Sigmoid 激活函数 

 

适用情况：Sigmoid 函数的输出范围是 0 到 1。由于输出值限定在 0 到 1，因此它对每个神经元的输出进行了归一化；用于将预测概率作为输出的模型。由于概率的取值范围是 0 到 1，因此 Sigmoid 函数非常合适；

优点：

1. 梯度平滑，避免「跳跃」的输出值；
2. 函数是可微的。这意味着可以找到任意两个点的 sigmoid 曲线的斜率；
3. 明确的预测，即非常接近 1 或 0。

缺点：

1. 倾向于梯度消失；
2. 函数输出不是以 0 为中心的，这会降低权重更新的效率；
3. Sigmoid 函数执行指数运算，计算机运行得较慢。

2. Tanh / 双曲正切激活函数

 

 tanh 是一个双曲正切函数。tanh 函数和 sigmoid 函数的曲线相对相似。但是它比 sigmoid 函数更有一些优势。

首先，当输入较大或较小时，输出几乎是平滑的并且梯度较小，这不利于权重更新。二者的区别在于输出间隔，tanh 的输出间隔为 1，并且整个函数以 0 为中心，比 sigmoid 函数更好；

在 tanh 图中，负输入将被强映射为负，而零输入被映射为接近零。

注意：在一般的二元分类问题中，tanh 函数用于隐藏层，而 sigmoid 函数用于输出层，但这并不是固定的，需要根据特定问题进行调整。

3. ReLU 激活函数

 

优点：

1. 当输入为正时，不存在梯度饱和问题。
2. 计算速度快得多。ReLU 函数中只存在线性关系，因此它的计算速度比 sigmoid 和 tanh 更快。

缺点：

1. Dead ReLU 问题。当输入为负时，ReLU 完全失效，在正向传播过程中，这不是问题。有些区域很敏感，有些则不敏感。但是在反向传播过程中，如果输入负数，则梯度将完全为零，sigmoid 函数和 tanh 函数也具有相同的问题；
2. 我们发现 ReLU 函数的输出为 0 或正数，这意味着 ReLU 函数不是以 0 为中心的函数。

 4. Leaky ReLU

它是一种专门设计用于解决 Dead ReLU 问题的激活函数：

 为什么 Leaky ReLU 比 ReLU 更好？

1. Leaky ReLU 通过把 x 的非常小的线性分量给予负输入（0.01x）来调整负值的零梯度（zero gradients）问题；
2. leak 有助于扩大 ReLU 函数的范围，通常 a 的值为 0.01 左右；
3. Leaky ReLU 的函数范围是（负无穷到正无穷）

注意：从理论上讲，Leaky ReLU 具有 ReLU 的所有优点，而且 Dead ReLU 不会有任何问题，但在实际操作中，尚未完全证明 Leaky ReLU 总是比 ReLU 更好。

5. ELU 

 ELU 的提出也解决了 ReLU 的问题。与 ReLU 相比，ELU 有负值，这会使激活的平均值接近零。均值激活接近于零可以使学习更快，因为它们使梯度更接近自然梯度。

ELU具有 ReLU 的所有优点，并且：

1. 没有 Dead ReLU 问题，输出的平均值接近 0，以 0 为中心；
2. ELU 通过减少偏置偏移的影响，使正常梯度更接近于单位自然梯度，从而使均值向零加速学习；
3. ELU 在较小的输入下会饱和至负值，从而减少前向传播的变异和信息。
4. 一个小问题是它的计算强度更高。与 Leaky ReLU 类似，尽管理论上比 ReLU 要好，但目前在实践中没有充分的证据表明 ELU 总是比 ReLU 好。

6. Softmax

 Softmax 是用于多类分类问题的激活函数，在多类分类问题中，超过两个类标签则需要类成员关系。对于长度为 K 的任意实向量，Softmax 可以将其压缩为长度为 K，值在（0，1）范围内，并且向量中元素的总和为 1 的实向量。

Softmax 与正常的 max 函数不同：max 函数仅输出最大值，但 Softmax 确保较小的值具有较小的概率，并且不会直接丢弃。我们可以认为它是 argmax 函数的概率版本或「soft」版本。

Softmax 函数的分母结合了原始输出值的所有因子，这意味着 Softmax 函数获得的各种概率彼此相关。

缺点：

1. 在零点不可微；
2. 负输入的梯度为零，这意味着对于该区域的激活，权重不会在反向传播期间更新，因此会产生永不激活的死亡神经元。

感知器：（perceptron）

神经网络入门 - 阮一峰的网络日志

感知机只有一个输入层和一个输出层, 如果加入一个隐藏层的话就是多层感知机（MLP）了，多层的话是可以解决异或问题的。

 单个的感知器构成了一个简单的决策模型，已经可以拿来用了。真实世界中，实际的决策模型则要复杂得多，是由多个感知器组成的多层网络。

上图中，底层感知器接收外部输入，做出判断以后，再发出信号，作为上层感知器的输入，直至得到最后的结果。（注意：感知器的输出依然只有一个，但是可以发送给多个目标。）

一个神经网络的搭建，需要满足三个条件：

• 输入和输出
• 权重（w）和阈值（b）
• 多层感知器的结构

一般用以下几种方法来解决梯度消失和梯度爆炸的问题。

（1）对于梯度消失问题，可以选择导数比较大的激活函数，比如ReLU激活函数。

Sigmoid函数和Tanh函数都属于两端饱和型激活函数，使用这两种激活函数的神经网络，在训练过程中梯度通常会消失，因此可以选择其他激活函数来替代。

ReLU激活函数在正数部分的导数恒为1，每层网络都可以得到相同的更新速度，因此在深层网络中不会产生梯度消失和梯度爆炸的问题。

（2）对于梯度爆炸问题，可以采取梯度截断和权重正则化的方法。

1. 梯度爆炸的一个原因是网络的权重设置得过大。
2. 梯度截断这个方案主要是针对梯度爆炸提出的，其思想是设置一个梯度截断阈值，然后在更新梯度的时候，如果梯度超过这个阈值，那么就将其强制限制在这个范围之内。
3. 权重正则化就是在损失函数中，加入对网络的权重进行惩罚的正则化项，比如权重的L1正则化或者L2正则化。如果发生梯度爆炸，权值的范数会变得非常大，通过正则化项进行惩罚，可以限制权重的值，从而减轻梯度爆炸的问题。

（3）选择更好的随机初始化权重的方法。

一是对每个权重都进行随机初始化，尽量让每个权重都不同，使不同神经元之间的区分性更好。

二是选择合适的随机初始化权重的区间，不能太小，也不能太大。一般而言，参数初始化的区间应该根据神经元的性质进行差异化的设置，如果一个神经元的输入连接很多，那么每个输入连接上的权重要小一些，以避免神经元的输出过大（当激活函数为ReLU时，但输出为正时导数都是1）或者过饱和（当激活函数为Sigmoid函数时，梯度会接近于0）

RNN | DNN | CNN

1. 循环神经网络(Recurrent Neural Networks)和递归神经网络(Recursive Neural Networks)

虽然很多时候我们把这两种网络都叫做RNN，但事实上这两种网路的结构事实上是不同的。而我们常常把两个网络放在一起的原因是：它们都可以处理有序列的问题，比如时间序列等。

循环： 时间维度的展开，处理的是序列结构的信息。代表信息在时间维度从前往后的的传递和积累，可以类比markov假设，后面的信息的概率建立在前面信息的基础上。

递归：空间维度的展开，是一个树结构，比如nlp里某句话，用recurrent neural network来建模的话就是假设句子后面的词的信息和前面的词有关，而用recursive neural network来建模的话，就是假设句子是一个树状结构，由几个部分(主语，谓语，宾语）组成，而每个部分又可以在分成几个小部分，即某一部分的信息由它的子树的信息组合而来，整句话的信息由组成这句话的几个部分组合而来。

我们主要关注循环神经网络：：：：：

 在RNN中，神经元的输出可以在下一个时间戳直接作用到自身,即第i层神经元在m时刻的输入，除了（i-1）层神经元在该时刻的输出外，还包括其自身在（m-1）时刻的输出！

 RNN在时间上展开：

RNNs并不能很好的处理较长的序列。一个主要的原因是，RNN在训练中很容易发生梯度爆炸和梯度消失，这导致训练时梯度不能在较长序列中一直传递下去，从而使RNN无法捕捉到长距离的影响。

三种方法应对梯度消失问题：

1. 合理的初始化权重值。初始化权重，使每个神经元尽可能不要取极大或极小值，以躲开梯度消失的区域。
2. 使用relu代替sigmoid和tanh作为激活函数。
3. 使用其他结构的RNNs，比如长短时记忆网络（LTSM）和Gated Recurrent Unit（GRU），这是最流行的做法。

语言模型是对下一个词出现的概率进行建模。那么，怎样让神经网络输出概率呢？方法就是用softmax层作为神经网络的输出层。

对输入输出进行处理：向量化方法，对输入x和标签y进行向量化------>one-hot

使用交叉熵误差函数作为优化目标，对模型进行优化

为了解决时间上的梯度消失，机器学习领域发展出了长短时记忆单元LSTM，通过门的开关实现时间上记忆功能，并防止梯度消失

2. LSTM

3. DNN

神经网络的前向传播和反向传播？

神经网络的基本构成：权重，偏置，激活函数，随机梯度下降等。

前向传播比较简单，就是向量点乘，也就是加权求和，然后经过一个激活函数。

反向传播 BP（Back-propagation）：这是最传统的神经网络，不是深度学习。

那么反向传播的东西是什么呢？答案是：误差。就是在模拟过程中（这是一个循环，我们在训练神经网络的时候是要不断的去重复这个过程的）收集系统所产生的误差，并且返回这些误差到输出值，之后用这些误差来调整神经元的权重，这样生成一个可以模拟出原始问题的人工神经网络系统。

进行反向传播前需要确定一个损失函数，损失函数有很多种，这里使用最常用的L2 loss的二分之一。即取所有网络输出节点的误差平方和的二分之一：

反向传播算法的含义是：第l层的一个神经元的误差项等于该神经元激活函数的梯度，再乘上所有与该神经元相连接的第l+1层的神经元的误差项的权重和。

BP神经网络是一种多层的前馈神经网络，其主要的特点是：信号是前向传播的，而误差是反向传播的。具体来说，对于如下的只含一个隐层的神经网络模型：

BP神经网络的过程主要分为两个阶段，第一阶段是信号的前向传播，从输入层经过隐含层，最后到达输出层；第二阶段是误差的反向传播，从输出层到隐含层，最后到输入层，依次调节隐含层到输出层的权重和偏置，输入层到隐含层的权重和偏置。

深入理解BP神经网络 - 简书

 

 

 

4. CNN

为什么CNN比DNN在图像上效果更好？

全连接DNN的结构里下层神经元和所有上层神经元都能够形成连接，带来的潜在问题是参数数量的膨胀。假设输入的是一幅像素为1K*1K的图像，隐含层有1M个节点，光这一层就有10^12个权重需要训练，这不仅容易过拟合，而且极容易陷入局部最优。另外，图像中有固有的局部模式（比如轮廓、边界，人的眼睛、鼻子、嘴等）可以利用，显然应该将图像处理中的概念和神经网络技术相结合。对于CNN来说，并不是所有上下层神经元都能直接相连，而是通过“卷积核”作为中介。同一个卷积核在所有图像内是共享的，图像通过卷积操作后仍然保留原先的位置关系。

CNN适用于图像，正是由于CNN模型限制了参数个数并挖掘了局部结构这个特点。顺着同样的思路，利用语音语谱结构中的局部信息，CNN照样能应用在语音识别中。