CS231n

图像分类是视觉领域的核心问题（基础问题）之一：已有一些有标签的多类图片数据集，输入图片给出分类标签。

训练模型最终的目的是得到一个泛化能力强，测试集准确率高的模型，而不是说训练时拟合效果最好，但验证集和测试集变差。

实际应用中我们需要是测试的时候快速高效，训练的时候慢一点无所谓。（CNN恰好满足这一点）

验证集是为了选出一个最好的算法模型，测试集是为检验模型的泛化能力。

数据驱动（已经有很多有标签的图片），机器对于图片有语义鸿沟。

线性分类：首先将图片拉伸成向量，损失函数就是像素的欧几里得范数。

损失函数的意义在于量化不同错误分类到底有多坏。

 

SVM对应折页损失函数（有一个安全边界）

softmax：得到score function值→exp（指数化处理）→归一化处理得到P→取负对数-log（P）对应分类的概率分布。（交叉熵？）

用解析法求梯度（导数）更新训练网络，用数值梯度（差分）去check网络正确与否。

无补0时，卷积后输出维度：(N-F)/stride  +1 ；N：输入维度，F滤波器维度，stride滑动步长

补0：pad with p pixel（指的是像素各边界加p层0）：之后输出层维度变为(2p+N-F)/stride  +1

为何填充：填充后可保证输出图片的尺寸与输入一致，而且边角也可以卷积处理到，尽可能多的 保留信息。

输出层的深度等于滤波器的深度（层数）相关。

输入的图片如何作为输入变量与神经网络连接：输入图片不管是几通道的统统拉伸成一维向量（向量是一列），然后直接作为x.

关于参数数目计算：输入32*32*3，滤波器10, 5*5*3，则参数为（5*5*3+1）*10，1是偏置变量。

一般来说NN结构是卷积-Relu非线性激活层-卷积-Relu非线性激活层（重复n次）+一个pooling层，如此重复，最后加上数个全连接层。池化不能太多次，会失去一些信息。

训练模型时，真正的变量（参数）是权重（包括偏置），梯度下降法前向得到损失函数和预测值，反向得到梯度dL/dw.

 

图像分类架构（最实用）：Alexnet(配合模型集成)，googlenet。（resnet-残差网络：错误率最低。，但是计算等要求高）

定位：在分类的基础上画出包括目标的框。（加一个输出（x,y,w,h））。定位较好的实现方法有 faster-Rcnn,  yolo,  SSD.

leaky ReLU: f（x）=max（0.01x , x ） 优点：无饱和（梯度消失区），计算高效（线性），收敛快，无死区（梯度消失导致某些神经元无法继续训练参数）

P-ReLU（parametric ...）: f（x）=max（x , x ）,作为训练参数。

ELU：f（x）=x，if x>0 ; f（x）= （-1）.

激活函数以0为中心优点：输出均值为0，有类似归一化的效果。

激活函数的选择：

       优先ReLU（要注意调学习率）

       其次 leaky ReLU / ELU. （Rectified linear unit 矫正线性单元，Exponential linear unit指数线性单元）

       对tanh不要期待太好

      不用sigmoid。

 

Alexnet：krizhevsky,2012    ※※※※

googlenet: szegedy,2014     ※※※※

resnet: identity mapping in deep residual networks ,He,2016   ※※※

Xavier initialization,Glort,2010

VGG16:simonyan and zisserman,2014

mask -RCNN:图像分割，物体识别，姿势估计。※※※※

 

csdn上搜论文详解！！！