Lenet阅读笔记

[1] 首次提出了卷积神经网络的基本组成：卷积层，池化层和全连接层。卷积层的目的是提取输入的不同特征，第一层卷积层可能只能提取一些低级的特征，更多层的网络能从低级特征中迭代提取更复杂的特征。池化层可以大幅降低输入维度，从而降低网络复杂度，使网络具有更高的鲁棒性，同时能够有效的防止过拟合。
[2] 卷积神经网络的网络连接相对于一般的神经网络具有局部连接、权值共享的特点。
[3] 局部连接：相对于一般神经网络的全连接而言，指本层的某个节点只与上一层部分节点相连接，只用来学习局部特征，大幅减少了参数数量，加快了学习速率，也在一定程度上减少了过拟合的可能。
[4] 权值共享：不同的卷积核对应不同的权值参数，来检测不同的特征。每一层的其他特征图使用不同的一组权值和偏置，提取不同类型的局部特征。加上权值共享的方法后，能更进一步地减少参数数量。