CS231N 卷积神经网络课程学习笔记

CS21N 是斯坦福大学教授李菲菲的课程，主要讲卷积神经网络相关内容，为了更好的记忆，整理下笔记。文中有些不对的术语和理解还请大家指正。

 

一、卷积神经网络的结构

    传统的神经网络一般由输入，点乘，非线性变换组成，由于每一层和前一层都是全连接，网络的复杂度和输入的图像大小有很大的关系，如果图像过大，输入层的参数会非常多。卷积神经网络则利用输入图像的一些特征，可以更有效地学习同时也大大减小了学习的参数。一般的卷积单元可以用宽度，高度，深度来表示。常用的卷积神经网络层有：输入层，卷积层，池化层，全连接层和非线性层。一个卷积神经网络就是这些层数的不同排列。

1.输入层（input layer）:输入的原始图像数据。

2.卷积层（convelotionallayer）:将和神经元局部连接的输入与对应权重做点乘（dotproduct）。需要参数：权重和偏置。

3.非线性层（RELU layer）:将神经元的输入通过非线性变换，如RELU输出。

4.池化层（poolinglayer）:在宽度和高度方向做降采样。目的是在不改变网络性能的前提下，减小网络的大小。可能会有超参数（hyperparameter??）。

5.全连接层(fully-connectedlayer): 和前一层全连接，用于计算最终分类的得分。需要参数ÿ