如果说LeNet是奠定了卷积神经网络的一个基础,那么AlexNet就是飞跃了一大步。现在神经网络当中应用的许多技术,在AlexNet当中都有所体现,比如说:
使用了ReLU函数,避免的梯度的消失问题;
正则化(如Batch Norm)在AlexNet当中大量使用,加快了运算效率
引入Drop Out技术,极大的避免的过拟合
C1的基本结构为:卷积–>ReLU–>池化
与原始的LeNet相比,AlexNet网络结构更深,LeNet为5层,AlexNet为8层。
卷积公式理解参考链接
对小明和小亮进行分数加权计算,一般时间越近权重越大,n代表几年前,6代表我们现在是在6年级的时候。
同理对于信号来说,最近接收到信号权重越大。τ代表某个时刻,t代表t时的计算。