4.AlexNet

如果说LeNet是奠定了卷积神经网络的一个基础，那么AlexNet就是飞跃了一大步。现在神经网络当中应用的许多技术，在AlexNet当中都有所体现，比如说：

使用了ReLU函数，避免的梯度的消失问题；
正则化（如Batch Norm）在AlexNet当中大量使用，加快了运算效率
引入Drop Out技术，极大的避免的过拟合

 C1的基本结构为：卷积–>ReLU–>池化

与原始的LeNet相比，AlexNet网络结构更深，LeNet为5层，AlexNet为8层。

 参考文章

Dropout

卷积公式理解参考链接

对小明和小亮进行分数加权计算，一般时间越近权重越大，n代表几年前，6代表我们现在是在6年级的时候。

 同理对于信号来说，最近接收到信号权重越大。τ代表某个时刻，t代表t时的计算。