从2010年开始,深度学习开始进入人们视野,2012年的Alexnet是第一个真真意义上的深度网络,尽管只有8层,但其错误率只有16.4%,2015年微软亚洲研究院的何凯明同学的Resnet使得错误率降低至3.57。
AlexNet 人工分配两块GPU,因此上图会有两条路线,但现在都是框架自己主动分配了。使用了11*11的卷积核。7层隐藏层,共8层,60M的参数,训练了1周。现在不会用这种网络结构了,因为太过时了。
VGG是牛津大学的成果,共有6个版本。比如-16版,-19版,11版。创新在于使用小窗口感受器(卷积核)。拿到了2014年的imageNet的第二名。1*1的卷积核作