第七周【任务1】签到作业 过儿--《深度学习》花书训练营【第五期】

b. 分析前馈神经网络、卷积神经网络和循环神经网络的异同点。

1）前馈神经网络（FNN）是经典感知机算法的进化版本。该网络不考虑输入数据可能具备的任何特定结构。尽管如此，它仍是非常强大的机器学习工具，尤其是与先进的正则化技术一起使用时。这些技术帮助解决人们处理「深度」网络时遇到的训练问题：神经网络有大量隐藏层，隐藏层非常难以训练（梯度消失和过拟合问题）。

图：FNN 前向神经网络

FNN 由一个输入层、一个（浅层网络）或多个（深层网络，因此叫作深度学习）隐藏层，和一个输出层构成。每个层（除输出层以外）与下一层连接。这种连接是 FNN 架构的关键

 

2）卷积神经网络（CNN）擅长图像分类，其中卷积和池化是 CNN 的构建基元。CNN 由若干个卷积和池化操作组成，通常跟随着一个或多个全连接层（与传统的 FNN 层相似）。

图 ：一个典型的 CNN 架构（受到 LeNet 启发）：卷积操作之后跟着池化操作，直到每一个特征图的大小降为 1。然后再引入全连接层。

 

循环神经网络（RNN）这种类型的神经网络真正的新颖之处在于，我们正试图预测时间序列会被编码进整个网络架构中。RNN 最开始被用于预测句子中的下一个单词（分类任务），即时间序列上的预测。但这种网络架构也可以被应用在回归问题中。

 

图 ： RNN 架构，数据在「空间」和「时间」域同时传播。在我们的例子中，时间尺寸为 8，而空间尺寸为 4。

 

参考资料：

详解前馈、卷积和循环神经网络技术

 

---

c.      RNN为何不能像前馈神经网络一样的方式进行多样本并行计算，他是通过这样的方式进行并行的

因为RNN为延时网络，网络的每个输入都与前一个时刻的输出有关系，因此，当输入只有一句话时，无法并行计算。

但是作为批量训练的时候，可以将一个batch的样本在某一个时刻的输入输出并行，加速计算，而不是将一个样本的整个过程并行（因为依赖性无法并行）。

 

参考资料：

RNN前向传播、反向传播与并行计算(非常详细)