小议深度学习

1. 全连接网络

$$y=\sigma (wx)$$

全连接网络可以认为是网络将样本的属性映射到另一个空间（一般是高维空间中），然后在高维空间中学习样本之间差异或者说样本属性的概率分布，从而学习每个样本的属性，理解样本的分布；然后才能在最后几层，对未知样本进行分类或者回归。

2. 卷积网络

卷积网络一开始出现主要为了处理图片数据的，因为如果把图片中的每一个像素当作一个维度（属性）的话，那么将图片送入全连接网络中，计算量是非常巨大的，甚至全连接网络无法运算。因此，卷积网络中提出了卷积核的概念，根据两个归纳偏置（1. locality 2. 平移不变性），将需要送入网络的维度大大降低，而且随着网络深度变深，网络最终也学到了全局的特征，可以任务网络根据像素深层的抽象组合，学习到了某些物体的表象特征。

3. 循环神经网络

循环神经网路是为了处理序列信号，在序列信号中，上一个信号极大概率会对下一个信号进行干扰，因此要求网络能够累积上一个时刻的信号特征。从这里开始，可以发现网络不仅仅去单个样本中变化映射特征空间，开始学习不同样本之间的关系。（但是它的问题在于无法并行，效率较低）

4. 注意力机制

注意力机制最开始在Seq2Seq任务中提出，为了更好地完成翻译任务，将两种序列进行对齐操作。但是进一步思考，注意力机制不仅仅可用于对齐，它其实是在对不同样本之间的关系进行建模，因此，自注意力模型应运而生。通过自注意力模型，序列中的每个表示，可以关注到其他不同表示，增加了不同表示之间的联系。

5. 图神经网络

这里以GCN为例，采用拉普拉斯矩阵，对不同样本（节点）之间的关系进行建模，每个节点都会收到周围节点的影响，从而保证每个节点学习的信息是更加可靠的。

6. 小结

作为一个深度学习小白看来，目前深度学习慢慢从关注样本属性开始，还开始关注不同样本之间的联系，从而对样本集合做一个更精细的模拟（模型越来越大）。

仅个人理解，有错误请赐教。