手绘图像识别：Sketch-a-Net that Beats Humans

该工作针对手绘草图识别问题提出了一个多通道的深度神经网络框架，使得计算机对手绘草图的识别能力首次超过了人类。

1. 针对手绘草图设计了专门的深度神经网络结构。

2. 通过多通道的方式增加了对绘图过程中不同的绘制顺序的考虑。

3. 利用贝叶斯融合的手段对多尺度的网络进行了融合，从而可以有效解决手绘草图不同程度的提取和稀疏问题。

论文整体的框架如上图所示，其中深度神经网络结构如下：

 网络结构的特点：

1. 较大的卷积核（15×15） 作者人为，由于手绘草图缺少纹理信息，而大的卷积核可以更好的体现草图的结构信息。

2. 较高的dropout率 由于相应的训练数据集较小，因此采用了较高的dropout rate 50%

解决手绘顺序的问题

如下图所示，一个完整的手绘图像可以差分为三个部分，每一个部分都可以作为一个单独的通道，另外选取其中两两组合形成的两个通道，最后加上完整的手绘图像共形成六个通道。将这六种组合形成一个六通道的图像作为网络的输入图像。

 多尺度网络融合

为了解决手绘草图分辨率的差异问题，提出了如图1所示的多尺度解决方法。将图像进行下采样到不同的像素再上采样到初始的256×256，其中下采样的像素大小包括256,、224、192、128、64等五种尺度。对每种尺度下的网络进行单独的训练，之后采取措施多五种特征进行融合。文中利用网络的倒数第二层产生的512D特征进行融合，采用的融合方法为Joint Bayesian(JB)融合法。

JB Framework:

文中对所有的特征进行了拼合，得到5×512=2560D的向量，并利用这些限量作为输入对JB模型进行训练，以得到一个效果较好的metric.