Alexnet

The Architecture
ReLU Nonlinearity
非饱和非线性，然而，在这个数据集上，主要关注的是防止过度拟合，所以他们观察到的效果不同于我们在使用ReLUs时报告的训练集的加速能力。

Training on Multiple GPUs
对于2-GPU（AlexNet里的group参数），其实AlexNet可以直接用单GPU来实现，大家觉得AlexNet是2GPU的缘故是，Alex当年train网络的时候GPU内存太小，他只好用两个GPU来实现：）后来大家一般都是用一个GPU的。

将网络分为两个GPU，当前的GPU特别适合于跨GPU并行化。因为他们可以直接读取和写入对方的内存，而不需要通过主机内存。
我们采用的并行化方案基本上将 一半内核（或神经元）放在每个GPU，还有一个额外的技巧：GPU只在某些层进行通信。这意味着，例如，层3的内核从第2层的所有内核映射中输入。然而，层4中的内核仅从驻留在同一GPU上的层3中的那些内核映射获取输入。 选择连接模式是交叉验证的一个问题，但是这允许我们精确地调整通信量，直到它是计算量的可接受的分数。
相比与在单个GPU中每个卷积层中有一半的核，2GPU net花费更少训练时间。1GPU实际上在最后的卷积层中 核的数量和2GPU一样。这是因为大多数的网络参数是在第一个全连接层，其最后的卷积层作为输入。所以为了让两个网络有大约相同的参数，我们没有将最后卷积层减半。这种1GPU比减半的2GPU更大。

Local Response Normalization
RELU具有所需的属性，其不需要输入归一化来防止它们饱和。如果至少有一些培训示例为ReLU产生积极/正的投入，那么在该神经元中会发生学习。 然而我们仍然找到以下本地归一化方案local normalization scheme有助于泛化，
表示在位置（x,y）通过应用核i计算所得的一个神经元的活度，应用relu的非线性，response-normalized activity ：

求和在同样的空间位置经过n个“相邻”的kernel map，N为层中kernel的总数， kernel map的排序是任意的。 这种响应规范化实现了一种由真实神经元中发现的侧向抑制lateral inhibition形式，为使用不同内核计算的神经元输出之间的big activities创造竞争

Overlapping Pooling
传统上，被相邻的pooling单元总结的区域并不重叠。池层可以被认为是由s个像素间隔开的pooling 单元的网格构成的，每个总结了以pooling单元为中心的z*z的领域.

s=z：传统的local pooling
s < z ：overlapping pooling
我们通常在训练期间观察到具有重叠池的模型更难过拟合。

Overall Architecture

前5层为卷积层，后3层为全连接层。最后全连接层的输出连到 1000-way softmax，其产生了1000个类的标签的分配。我们的网络最大化多项Logistic回归目标，这相当于在预测分布下最大化 训练情况中正确标签的对数概率的平均值。

第二，第四和第五卷积层的内核只与位于同一GPU上的上一层中的那些内核映射相连

cudnn：
通过cuDNN句柄，描述符和函数调用的独立设计以及框架的模块化，可以简化集成。 核心Caffe框架是不变的，保留了网络，层和内存接口。 更改被隔离到新层定义和实现，描述符的辅助函数和相应的测试。 补丁几乎是纯粹的添加剂。

在Caffe中，每种类型的模型操作被封装在一个层中。 层开发包括声明和实现层类，在协议缓冲模型模式中定义层，扩展层工厂，并包括测试。 计算通过设置，前进和后退步骤的层协议进行。 cuDNN层适合同样的方案。 库处理和描述符在设置中进行配置，而在各层方法中进行前向和后向调用。 cuDNN原语产生简洁的层实现。 cuDNN层是标准Caffe对等体的替代品。

Caffe具有标准的阵列和内存接口，称为blob，用于在主机和设备上存储和传送数据。 Blob保存数据，渐变和参数。 特别地，层输入和输出保持在N？ C ？ H ？ W尺寸斑点。 cuDNN张量和滤波器描述符通过其柔性支撑尺寸和步幅从blob阵列构成。 通过在描述符中协调内存，Caffe保持对内存和通信的控制以提高效率。