qq_59860384的博客

原创 深度学习第一周

AlexNet由Geoffrey和他的学生Alex提出，并在2012年的ILSVRC竞赛中获得了第一名。Alexnet共有8层结构，前5层为卷积层，后三层为全连接层，AlexNet网络结构具有如下特点AlexNet在激活函数上选取了非线性非饱和的relu函数，在训练阶段梯度衰减快慢方面，relu函数比传统神经网络所选取的非线性饱和函数（如sigmoid函数，tanh函数）要快许多。AlexNet在双gpu上运行，每个gpu负责一半网络的运算。采用局部响应归一化（LRN）。