深度学习经验记录

1、随网络加深，特征高宽变小，使通道变多，来增加分类能力。

2、上采样扩张特征大小来对像素进行标记，上采样方法有转置卷积、双线性插值、反池化。

3、通过压缩图像来直接得到超分辨率重建样本。

4、目标检测方法，滑动窗口、区域提案、划分网格。

5、梯度消失解决方法，ReLU、BN、残差网络、预训练加微调。

6、过拟合解决方法，正则化、Dropout、提前停止、简化模型、数据增强、清洗数据、增加数据。

7、小数集训练，迁移学习，数据增强，更深网络，加多数据，余弦损失，先验知识。

8、模型压缩，剪枝、量化、蒸馏、哈夫曼编码、深度可分离卷积、轻量化结构。

9、通过对句子随机缺失然后补全来得到自然语言处理样本。

10、下采样在前几层密度更大，以换取速度提升，越往后下采样的密度应该更小。

11、深度决定了网络的表达能力，宽度决定了网络在某一层学到的信息量。

12、图像亮度变换增强鲁棒性会更好。

13、小卷积3x3堆叠代替大卷积核，3x3卷积+1x3卷积+3x1卷积增加旁路可以提升精度。

14、参数初始化可能会收到意想不到的好结果，xavier、He等。

15、模型理论容量是由卷积核数量，模型深度等决定的。但是有效容量会受学习速率影响。

16、训练loss小于0.01结束训练，验证loss大于0.3过拟合，训练loss与验证loss都大于0.3欠拟合。

17、加深可以增加模型容量，但更难训练与容易梯度消失，加宽可以更好的拟合训练集，但容易过拟合 。

18、模型可以看做是一个函数，训练是拟合数据得到函数的参数值。

19、模型的训练是在拟合训练集的规律，模型的使用却是将规律作用于测试集。过拟合是拟合训练集所有的大方向规律和小细节规律。

20、CNN具有平移不变性，尺度与旋转都存在变化，通过数据增强来学习尺度与旋转特性。

21、 多模态处理，分别用编码器提取特征，一种方式是通过对比损失函数，使得同一类样本特征尽量相似，另一种方式是concat后解码器处理。

22、 知识规则与神经网络融合。

23、单体智能元素组合到群体智能的调度。

24、 被低估的数据，被高估的模型。

25、 平均池化更能保留整体数据的特征，较好的突出背景信息；最大池化则能更好保留纹理特征。

26、 多任务自训练一种方法是利用多个独立的专业教师模型来训练一个多任务学生模型，使用专门教师模型来标记一个未标记的数据集，再用伪标签来训练多任务学习的学生模型。

27、 拟合度低的数据适合用来做预训练，主要用于增加泛化能力，拟合度高的数据适合用来微调模型，主要用于增加准确性。