y小川的专栏

作者：Chen Chen [1], Chen Qin [1], Huaqi Qiu [1],∗, Giacomo Tarroni [1,2], Jinming Duan [3],Wenjia Bai [4,5], and Daniel Rueckert [1][1] Biomedical Image Analysis Group, Department of Computing, Imperial College London, London, UK;[2] Department of Compute

作者在LSVRC（Large scale visual recognition challenge）2010比赛中对包含1000个类别的120万张高像素图像数据集训练模型，在测试集得到了37.5%的Top-1错误率和17.0%的Top-5错误率（当时最佳成绩）。本文的创新主要体现在为避免过拟合，采用了一种当前正在发展的正则化方法"dropout"和采用ReLU替代tanh作为神经元激活函数，提升模型训练速度和非饱和性。