深度学习基础--不同网络种类--PCANet

PCANet

  即PCA+CNN=PCANet。在卷积层用了PCA，这样再卷积的时候就有了一定的目的性，从而提高了分类效率。
  参考资料：
  https://blog.csdn.net/Anysky___/article/details/51044670
  http://bbs.pinggu.org/thread-3759181-1-1.html

优缺点

  优点：快
  缺点：对于复杂的图像，效果差。

主要思想

  2016年的中国人提出的。
  这个框架主要依赖几个基本的数据处理方法：1）主成分分析PCA。2）二值化哈希编码。3）分块直方图。
  这个框架中的整体流程：首先通过PCA方法来学习多层滤波器核，然后使用二值化哈希编码以及块直方图特征来进行下采样和编码操作。

  这个框架中的具体流程：
  1）用到了PCA去学习滤波器，然后用到了binary hashing（二进制哈希）和block histograms（块直方图）分别做索引和合并。
  2）对输入分为一个个像素块，然后用PCA降维学习到下一阶段的滤波器。然后有两层网络级联。
  3）把最后得到的结果经过二值化的哈希，然后再经过直方图统计，再用SVM分类。

  在MNIST数据集上，PCANet就已经能做到99%以上吖。应该是15年12月发的吧，不用调GPU，普通的笔记本电脑都能跑。

  另外还有两种类似的框架，即RandNet和LDANet。他们之间的基本思想是相同的，但RandNet的滤波器核采用随机初始化的方式，LDANet的滤波器核通过线性判别分析来学习得到。

PCANet的结构和使用流程

  PCANet有三层结构：

  第一层：1、对输入mn图片用k1k2进行分割，逐个像素点去分(即步长为1)。
  2、分割得到（m-k1+1）*（n-k2+1）个小块。
  3、对每一个小块取均值。
  4、求出第二步形成矩阵的特征值和特征向量。
  5、拿出需要的特征向量对单独对原图进行卷积运算。

  第二层和第一层一样。

  第三层：1、首先对第二层输出的结果进行二值化，正为1，负为0。
  2、再重新编码，使值在（0，255）255是由于第二层取了8个特征向量，也就是8个滤波器，通过这一步8个变1个。
  3、进行直方图统计，通过这一步剩下8个也变一个，目前输入一张图，输出一个直方图表。
  4、得到的结果用svm处理。