李宏毅教授神经网络基础架构课程笔记总结

Basic Structure

 

预备知识：

 

神经网络相当于由简单函数(neurons)组成的函数集

 

Fully Connected Layer

 

Recurrent Structure

反复利用同一个结构

相较于前馈网络，前馈网络的参数更多，会容易过拟合

 

深层RNN

 

双向RNN

 

Pyramidal RNN

可以把sequence缩短

Block间的运算可以并行，但sequence之间的运算必须在前一个完成后才能进行

 

每个结构进行的运算：

 

LSTM：

传递信息有两条路径：c和h

c改变地比较慢，因此可以记得长期记忆，h改变地比较快

或

 

不断重复结构：

 

 

 

 

 

 

 

 

 

 

 

 

GRU

运算量少，参数少，比较不容易过拟合

 

应用：语音识别

目标延迟：只对单向RNN有效

可以使网络更容易学得目标

 

Stack RNN

输入可以无穷大，参数量与输入量无关

Convolutional / Pooling Layer

根据任务的先验知识来简化神经网络

 

稀疏连接性：每个neuron只连接上一层的几个部分

参数共享：不同接受域的参数共享，可以使用更少的参数(远少于全连接的参数量)

 

Pooling Layer

也可以采用mix pooling对几种pooling方法进行混合

Max pooling时也可以采取top k个而不只是一个

 

可以将同一个filter中的output进行pooling->subsampling

将不同filter但是同样接受域的output进行pooling，可以将同一类但不相似的输出集合起来