深度学习基础

1. 防止过拟合

为什么会过拟合？ 数据太少，模型太复杂

数据增强

早停

dropout

BN

L1 L2正则化

简化模型

避免神经网络过拟合的5种技术（附链接） | 机器之心

2. 膨胀卷积(又叫：空洞卷积)

 为什么要使用膨胀卷积：

潜在问题：

1、gridding effect  在感受野区域的采样值不连续

 改进：

 对比

膨胀卷积(Dilated convolution)详解_哔哩哔哩_bilibili

3. 转置卷积（又叫：反卷积）

 重点：

1、构建卷积核的等效矩阵（大小和特征图一样）

2、矩阵乘法

 已知矩阵O C  可否还原回 矩阵I 

也就是说 矩阵是否可逆？ 

左右两侧同时乘以C的逆矩阵？ 不可行

一个矩阵存在逆矩阵，那这个矩阵必须为方阵，而C不是方阵，也就是说卷积不可逆，

 放宽条件：只得到与I相同大小的矩阵，是否可以得到？  当然可以，左右两侧同时乘以C的转置

 很明显：P和I 不相等， 所以验证 转置卷积不是卷积的逆运算

转置卷积（transposed convolution）_哔哩哔哩_bilibili