车型识别“Vehicle Type Classification Using a Semisupervised Convolutional Neural Network"

使用半监督CNN做车型识别，趋势所致，对大量未标记的数据使用sparse laplacian filter learning(SLFL) 获得卷积的滤波器。分类阶段，使用softmax进行多任务学习，每个车型的模型参数使用latent task 重建，对六类车辆进行分类，总图片数9850张。

cnn网络输入图像，输出每类车型的概率，网络包含两步，分别提取低层局部特征和高层全局特征，将低层和高层特征综合用来分类，叫layer-skipping。每步包括the convolutional layer, the absolute rectification layer, the local contrast normalization layer, the average pooling layer, and the subsampling layer组成。卷积层计算输入域滤波器的卷积，输出输入信号的非线性表示。绝对矫正层及局部对比度归一化层对卷积层的输出进行非线性变换。平均池化层和子采样层降低分辨率，对扭曲和移动鲁棒。网络的结构如下图所示：

A.卷积层
输入卷积sigmoid激活$y_j=sig(\sum_ik_{ij}\bigotimes x_i)$
B.Rectification层
$y_{i,j,k}=|x_{i,j,k}|$
C.归一化层
包括同一特征图的邻域节点及同一位置对应的其他特征图。
D.池化及下采样层
平均池化$y_{i,j,k}=\sum_{p,q}\alpha_{p,q}x_{i+p,j+q,k}$,池化后特征图大小降低，与池化滤波器大小有关。下采样分别对行列进行下采样。
E.softmax层
特征与车型概率分布之间的关系：
$v=W^Tx+b$
对v进行归一化
$y_i=\frac{1}{V}e^{v_i}$
$V=\sum^C_{i=1}e^{v_i}$
y是softmax层的输出，W使用多任务学习到。

权值学习
卷积层的滤波器组和softmax层分类器的参数

A. SLFL学习滤波器组
对输入数据U，学习滤波器组K，将U映射到A，即
$A=sig(K^TU)$
$A_{i,j}$表示第i个特征在第j个样本上的激活，将Laplacian 滤波器学习公式化：
（13）
与稀疏编码类似，第一项使用字典B进行精确重建。

第二项优化$sps(\cdot)$使特征sparsity，分三步实现：特征矩阵行归一化，特征矩阵列归一化，加和所有矩阵元的绝对值，$sps(\cdot)$公式化如下：

稀疏函数最小化是的特征具有population sparsity,high dispersal,lifetime sparsity属性。

公式（13）的第三项将流形假设（manifold assumption）引入目标函数，流形假设支出临近的数据点具有相似的表示，可以使用图对流形的结构进行近似，图的点使用数据点表示，边的权值矩阵R表示为：

边的权值矩阵满足大的R对应近的点，流形假设最小化公式：

公式（13）的最后一项最小化A与U非线性映射的误差，分两步对B,A,K进行联合优化。
Step1：固定B,K，通过最小化问题学习A。

Step2 : 使用学习到的A，学习B,K。

SLFL优化步骤算法如下：

A. multi-task learning
W的每一列都是要给分类器，可以使用latent task的线性组合表示，$T\in \mathbb R^{(D+1)\times K}$表示latent task矩阵，K是latent task的数目，权值矩阵的线性组合用C表示，每列表示对应车型的系数组合：
$W=TC$
为了学习T和C，将KL散度作为优化准则：

目标函数使用了L1-范数，T的Frobenius-范数归一化用来防止过拟合，T和C的目标函数为：

上式通过交替优化实现，具体见论文。

实验结果