局部相关性和权值共享

局部相关性和权值共享：

局部相关性：

目的：为了避免全连接网络的参数集过大的缺点。

​ 以图片为例，对于2D图片通常在进入全连接层之前将矩阵数据打平成1D向量，然后每个像素点与每个输出节点两两相连。网络层中，每个输出节点都与所有的输入节点相连，这种稠密的（Dense）连接方式使得全连接层的参数量大，计算代价高，全连接层也叫做稠密层（Dense Layer），当全连接层的激活函数为空时，全连接层也叫做线性层（Linear Layer）。
$$o_j=\sigma (\sum _{i\in nodes(I)})w_{ij}{x}_i+b_j$$
其中$nodes(I)$表示$I$层节点集合。

其实，对于图片而言只要选出最重要的一部分输入节点，抛弃重要性较低的节点，这样输出节点只需要与重要的一部分输入节点相连接:
o j = σ ( ∑ i ∈ t o p ( I , j ,