图像分类：ALEX net（2012）

ImageNet Classification with Deep Convolutional Neural Network

top 5 error
就是预测出来的标签概率最大的前五个中有和真实标签一样的，就返回0。（5个标签分别于真实标签比较，相同则返回0，不同返回1，再对这五个数取最小值），所以这个错误率是越小越好。

AlexNet由5个卷积层和池化层和3个全连接层构成，采用了RELU这个非饱和函数。

网络架构：

神经元参数的计算：
Fi是输入的通道数

内存的占用就是神经元的数量，参数的计算就是连接这些神经元所需要线的数量。
LRN（Local Response Normalization）局部相应标准化
抑制信号：当细胞分化为不同时，它会对周围细胞产生抑制信号，阻止它们向相同方向分化，最终表现为细胞命运的不同。
分子是原神经元参数，分母是由三个超参数（常数），和对在i-n/2和i-n/2之间求它们对应坐标之间像素和的平方之和。
如果它的像素值分别是1,2，3,100,5这样的话，1,2，3，5这四个神经元就会被抑制，因为111作为分母太大了。

训练技巧
针对位置：
统一将图片缩放到256 * 256，随机位置裁剪224 * 224区域，进行水平翻转
针对颜色：
通过PCA方法修改RGB通道的像素值，实现颜色扰动

相似图片的第二个全连接层输出特征向量的欧式距离相近，它把具有高维度的图像降低到只有4096的维度还保持了同类别欧式距离相近这个特点，所以可以基于高级特征进行图像的检索，聚类或者编码。