After Reading Data Augmentation

On Feature Normalization and Data Augmentation

Deep Feature Interpolation for Image Content Changes

Implicit Semantic Data Augmentation

正则化也是一种 data augmentation
(建立在简单模型先验思路的，对于分类问题能否考虑 lgistic regression作为先验？指不是线性关系）
Vicinal Risk Minimization (L2-regularization as data augmentation)
Droput as data augmentation

增强对某种变换的invariance + 生成更多training data

（1 mixup 等方法用到的 feature 在神经网络的中间层插值，无标签数据预测之后混合？据说效果不太好？）

label interpolation 方法1 one hot 编码变成 two-hot 编码
方法2 CE损失的时候加权平均两种损失

training error curve 可能会有问题因为都是在 augmented data上面做的training error 应该返回原始 training

思路 在没有训练数据的空间加上复杂度控制，data-augmentation让NN在无数据空间学习

输入加入Gauss noise， model中引入dropout 最后约束输出不变，适用于无label数据集。
（1 是不是可以想想往无label数据集推广？Gauss noise 会扭曲高频特征）

Moment Exchange 思路有点类似于Mixup，像是借鉴了mixup的思路，这种特别简单但是有效的trick会不会点明之后就缺乏创新点了？

结合浅层layer可能会带来对结构过度的关注，那么1.深层layer的语义信息是一个抽象程度的度量，过深的layer是否会过于抽象难以理解信息？（这里要想那为什么原来这个网络还能不错的得到结果）是否可以结合浅层layer 如果结合的话 应当怎么结合？

RandLA-Net: Efficient Semantic Segmentation of Large-Scale Point Clouds
To overcome this, we introduce a novel local feature aggregation module to progressively increase the receptive field for each 3D point, thereby effectively preserving geometric details.
(这里能否借鉴，把浅层特征空间用于学习几何细节)

在使用低层的特征空间时，会不会线性化不够，如果不行能否使用核方法（听说这个方向大佬都转深度学习了，可能没啥前途了（捂脸））

上面那个问题，能不能用attention机制提升深浅层之间的语义信息使用的问题，或者浅层使用注意力机制提高特征的可用性？（看到CBAM的论文，似乎是利用现有特征图上有选择更精细的调整来提升网络性能，同样能不能借鉴这个在特征图上操作（其实也不知道这个效果好不好））

今天学习了图像增强的传统方法，使用的是灰度直方图核灰度直方图的均衡化/规定化（缺点：不能反应位置信息，均衡化之后会丢失细节信息。）貌似这两个缺点本身是能够被NN弥补的？因为NN尤其是比较深层的网络之中参数过多，会学到更多噪声，如果利用这个均衡化（比如说在浅层特征空间抛弃一些过于表面的细节）是不是有希望在浅层特征空间做的更好一点？如果能和上面的注意力机制配合是不是能完成深浅层充分的利用?

话说CBAM貌似可以用在ResNet残差块学习分支上，但这个似乎有人提过了?而且也不算data augmentation了，直接修改了网络结构。
（不过implicit的话在分支上做改变貌似也可以说得过去？）

ISDA比较漂亮的地方在于语义信息的改变确实能够反推出来发现图片有效的改变，说明深层的线性化程度确实很合理