再一次感慨科技带来的便利的同时,你是否思考过这一神奇“魔法”背后的技术。自然界中花的种类多达45万种,存在的生物种类更是有近亿种之多。你是否想过,如何利用近年来火到爆棚的人工智能技术实现物种的分类和识别?这背后涉大规模图像分类技术。
图像分类技术日趋成熟,ResNet网络在ImageNet数据集上的top5准确率已超过96%。然而,如何高效地完成百万类别甚至是更大规模的分类任务,则是一个极具挑战性的课题。
先从多分类神经网络的实现角度分析,其最后一层通常是由全连接层和Softmax构成的组合层,全连接层输出结点数挂钩分类任务的类别数,所以对应的参数量随分类类别数的增长而线性增长。因此,当类别数非常大时,神经网络训练过程占用的显存空间也会很大,甚至是超出单张GPU卡的显存容量,导致神经网络模型无法训练。