神经网络

ReLU对于初始计算出激活为0或者负数，则此节点权重永远无法更新。

θ1和θ2如果初始值相同，则他们的更新也会完全同步因此会产生冗余，因此可以考虑用随机

 

数据增强：翻转，旋转，变颜色，缩放。

两类样本数量不匹配时数据增强：过采样，SMOTE（对样本少的类扩充为n倍并加随机噪声）。

可以考虑同类或两类之间样本年龄等因素分布是否需要均衡来数据增强。

Dropout：在训练时为每个节点赋予概率p，如果p为0.5则此节点有一半几率不参与学习过程。在对测试集测试时p*w作为此节点权重，即使节点没参与训练过程也会参与测试过程。

图像分割用：

Nearest neighbor unpooling：确定好映射后的尺寸，然后将原尺寸每个格子根据数目扩充为对应数量的同一个值的格子。

Max unpooling: 确定好映射后的尺寸，结合之前pooling前的尺寸的保留每一部分最大值的位置，将其他位置值置0。

Learnable unpooling：基于卷积层，比如输入2*2，卷积层3*3。先用输入的第一个格子乘以3*3得到第一块，然后第二个格子依旧如此，根据步长来映射到相应位置，发生重叠如绿色部分则取相加值。

卷积神经网络：

卷积层，通常步长为1，通过核矩阵点乘以原图像每个矩阵然后加一个偏置项通过sigmoid函数映射为1个值。然后根据步长进入下一块继续。如6*6通过3*3卷积层变为4*4，三维矩阵同理。

池化层，可以说是降采样，将原图像指定大小的矩阵选取最大值或均值变为一个数。如6*6通过3*3池化层变为2*2，用池化层不改变矩阵深度（3RGB）