【深度学习笔记】多层感知机，非权值共享型卷积神经网络，权值共享型卷积神经网络之间的关系

前言：最近学习深度学习，有感写一点总结。

我们常常所说的神经网络，一般是指原始的多层感知机，简称MLP，它是在原始感知机堆叠多层而成的，MLP完全由全连接层组成（当然也有激活函数），即Caffe里的IP层。MLP的最大的缺点在于参数众多，比如说我们的网络层为1000--1000--500--20，那么它的总的参数为：1000*1000+1000*500+500*20. 参数过多不好训练，容易产生过拟合现象。

卷积神经网络，即CNN，它大大减少的网络参数的数目，通过1. 权值共享 2. 局部连接 来完成，为了增强网络性能，也需要增加全连接层（跟MLP一样)。CNN的大部分参数为卷积核参数以及后面的全链接层参数。当然，这里CNN也要通过下采样来减少参数和提取不同尺度的特征。权值共享型卷积神经网络适合用来做分类。

非权值共享卷积神经网络,跟CNN最大的区别在于它在每个位置上的卷积核都是不一样的，相对与CNN来说，参数的数目也就大大的增加了，但是相对于MLP来说，它的参数还是减少了不少。非权值共享型卷积神经网络的参数更多的是卷积核参数，因为它的卷积核数量大大增加了。

以上就是我总结的三者之间的关系。有错误的地方还请指正。