深度学习期末复习

重点考察内容：cnn,rnn，正则化，模型优化，参数初始化，数据白化，ae等内容

cnn的内容，包括多种网络的核心思想和改进

1.lenet：采用了卷积层与池化层进行特征提取与降维，相比于全连接神经网络大幅度减少了参数，使用全联接层进行最终分类。

2.alexnet 采用多个卷积层和池化层进行特征提取与降维，并且使用数据增强和dropout方法预防过拟合，在lenet基础上使用了更深层次的网络，卷积层之间使用局部响应归一化（lrn）加快收敛速度，局部神经元活动创建竞争机制，抑制

3. Vgg的思想：通过多个3x3尺寸的卷积核代替cnn中的大尺寸卷积，加深了神经网络的深度，。
4. nin的思想：是cnn的一种改进，通过引入多层感知器来代替传统的卷积操作，提高了特征提取能力。
5. googlenet思想：主要采用inception模块，采用多尺度卷积来增加神经网络的特征提取能力和特征范围，由不同尺寸的卷积层和池化层并行的进行卷积池化，最后将结果连接起来。
6. resnet：通过引入残差块，有小的缓解深度学习中的梯度消失问题，他的核心思想是引入跨层链接，将输入直接连接到输出端，可以是下一个残差块也可以是输出口。h（x）= x+f（x）
7. 轻量级网络：通道分离卷积
8. shufflenet：分组卷积

正则化

9. 正则化：正则化是深度学习中