优秀文章:https://zhuanlan.zhihu.com/p/29957294
一、归一化
归一化目的是将数据映射到同一个范围,增加可比性。
二、标准化
标准化目地是加速收敛,更快找到最优解,计算上与正态分布标准化类似,变换在空间中的位置。
三、正则化
正则化目的是避免过拟合,减少误差。计算上在一般loss函数上加上正则项,有L1正则,L2正则,可以看做是损失函数的惩罚项。使用L1正则化的模型叫做Lasso回归,使用L2正则化的模型叫做Ridge回归。
L1正则化是指权值向量中各个元素的绝对值之和。可以产生稀疏权值矩阵,换句话就是能够得到某些权值为0的解,可用于特征选择。
L2正则化是指权值向量w中各个元素的平方和然后再求平方根。