正则化(regularization)
正则化是指为解决适定性问题或过拟合而加入额外信息的过程。
在深度学习时往往会给最终的loss加入很多正则化项,为了使得模型达到最好的结果。
半监督学习(semi-supervised learning)中一种常用的方法叫做一致性正则(Consistency Regularization),也是正则化的一个使用场景。
归一化(normalization)
大部分是指把数据变成(0,1)或者(-1,1)之间的小数。
主要是为了数据处理方便提出来的,把数据映射到0~1范围之内处理,更加便捷快速。