深度学习第二讲：全连接与局部连接浅析

1、全连接网络：
（1）参数数量太多。
（2）没有利用像素之间的位置信息（离得远的像素间的联系很小）。
（3）网络层数的限制（通过梯度下降法难以训练全连接网络，其梯度传递层数有限
2、卷积神经网络的三个重要思想：
（1）局部连接：每个神经元不再和上一层的所有神经元相连，而只和一小部分神经元相连。卷积核的大小远小于输入的大小。在深度卷积网络中，处在网络深层的单元可能与绝大部分输入是简介交互的。处于卷积网络更深层中的单元，它们的接受域比处在浅层单元的接受域要大。
（2）权值共享：一组连接可以共享同一个权重，减少了很多参数。我们只需要学习一个参数集合，而不需要对于每个位置都需要学习一个单独的参数集合。
（3）平移等变：一个函数输入改变，输出也会发生同样的变化。
3、局部连接与全连接不同之处
全连接神经网络每层的神经元是按照一维排列的，也就是排成一条线的样子；而卷积神经网络每层的神经元是按照三维排列的，也就是排成一个长方体的样子，有宽度、高度和深度。