作者：RayChiu_Labloy
版权声明：著作权归作者所有，商业转载请联系作者获得授权，非商业转载请注明出处
目录
min-max归一化(Min-Max Normalization)--区间(0,1)
特征缩放
面对特征数量较多的时候，保证这些特征具有相近的尺度（无量纲化），可以使梯度下降法更快的收敛。这两张图代表数据是否均一化的最优解寻解过程（左边是未归一化的），从这两张图可以看出，数据归一化后，最优解的寻优过程明显会变得平缓，更容易正确的收敛到最优解
在前边讲梯度下降的时候咱们也提到过，一般在最优化前会加归一化操作
机器学习最优化算法之梯度下降_RayChiu757374816的博客-CSDN博客
原因就是这样会减少数据模型的震荡，以最快的速度达到最优化。
缩放的方法就包括了各种归一化和标准化操作。
归一化(Normalization)：
定义：
就是把数据压缩映射到一定区间，例如(0,1) (-1,1) (0,255)区间，会把有量纲表达式变成无量纲表达式，便于不同单位或量级的指标能够进行比较和加权。
这里还是强调一下归一化是针对的数据。
什么叫量纲：
就是通过一些手段将不同单位不同场景类型的数据去掉单位来表示。
分类和公式：
min-max归一化(Min-Max Normalization)--区间(0,1)
有人把它还称作rescaling
适用场景：
- 如果对输出结果范围有要求，用归一化
- 如果数据较为稳定，不存在极端的最大最小值，用归一化
缺点：这种方法有个缺陷就是当有新数据加入时，可能导致max和min的变化，需要重新定义。
平均归一化--区间(-1,1)
(注意这中间的mean(x)、min(x) 和 max(x) 分别是样本数据的平均值、最小值和最大值)
适用场景：
- 矩阵分解
非线性归一化
log对数函数转换y = log10(x) 、反正切函数转换x' = atan(x)*(2/pi)、sigmoid变换、softmax变换以及L2范数归一化(见下图)
标准化(Standardization)：
最常见的标准化方法->Z-Score 标准化
其中 
和 
分别是样本数据的均值（mean）和标准差（std）。 数据会变成一个均值为 0 ，方差为 1 的分布
适用场景：
- SVM、LR、神经网络
- 如果数据存在异常值和较多噪音，用标准化，可以间接通过中心化避免异常值和极端值的影响
中心化：
也叫零均值处理，就是将每个原始数据减去这些数据的均值：
x' = x - μ
正则化：
过拟合
不加正则化训练出来的模型：
加了正则的模型表现
可以看到训练出来的模型太复杂，会影响使用，容易过拟合。
公式和原理
正则化主要用于避免过拟合的产生和减少网络误差。
其中，第 1 项是经验风险，第 2 项是正则项， 
为调整两者之间关系的系数。常见的有正则项有 L1 正则 和 L2 正则 以及 Dropout
L1和L2正则公式和原理详细内容请移步：我这样说范数和模你应该懂L1、L2正则咋回事了吧_RayChiu757374816的博客-CSDN博客
两个正则化损失函数等高线图
没有正则化的损失函数等高线和最优化示意图
L1正则化(Lasso回归)损失函数等高线示意图
lasso回归最终会等到稀疏矩阵，好多参数会是0，也就是筛选了特征，把对结果贡献很低的特征给过滤掉了，最终模型只关注非零的特征。
L2正则化(岭回归)损失函数等高线示意图
归一化和正则化在数据、参数、和结果上的区别
这里谈一下和归一化的关系，我理解归一化是为了使得预处理的数据被限定在一定的范围内(比如[0,1]或者[-1,1]),从而消除奇异样本数据导致的不良影响，这样处理使得训练时减少震荡，能够更加快速的训练，然而归一化不是必须的，不归一化最多是会延长最优化的时间，而不影响训练出来的模型使用。而正则化是针对的参数、系数theta或者叫w、b，最终的目的是让参数数值相差很小，比如不正则化可能第一个参数是100，第二个是1，加正则化后可能最终的参数第一个是1.013第二个是0.892，这样泛化能力强了，会影响模型的生成和使用，也就是归一化不影响推理结果，正则会影响。
参考：2(1).数据预处理方法 - nxf_rabbit75 - 博客园
6.3. Preprocessing data — scikit-learn 1.0 documentation
学习笔记163—理解模型正则化：L1正则、L2正则（理论+代码）-上地信息-shangdixinxi.com
【如果对您有帮助，交个朋友给个一键三连吧，您的肯定是我博客高质量维护的动力！！！】
1409
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
