机器学习、深度学习实战细节（batch norm、relu、dropout 等的相对顺序）

• cost function，一般得到的是一个 scalar-value，标量值；
  
  • 执行 SGD 时，是最终的 cost function 获得的 scalar-value，关于模型的参数得到的；

1. 分类和预测

评估：

• 准确率； 速度；健壮性；
• 可规模性； 可解释性；

2. Data Augmentation

• 平移、旋转/翻转、缩放、加噪声

3. 溢出

• 矩阵求逆，$\bf W=PQ^{-1}$

  W = P/(Q+1e-5*eye(d));

4. batch norm、relu、dropout 等的相对顺序

Ordering of batch normalization and dropout in TensorFlow?

在 Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift 一文中，作者指出，“we would like to ensure that for any parameter values, the network always produces activations with the desired distribution”（produces activations with the desired distribution，为激活层提供期望的分布）。

因此 Batch Normalization 层恰恰插入在 Conv 层或全连接层之后，而在 ReLU等激活层之前。而对于 dropout 则应当置于 activation layer 之后。

-> CONV/FC -> BatchNorm -> ReLu(or other activation) -> Dropout -> CONV/FC ->；