深度学习图像预处理中使用零均值化(zero-mean)和标准化 ?

在训练神经网络的过程中,通常需要对原始数据进行中心化(Zero-centered或者Mean-subtraction(subtraction表示减去))处理和标准化(Standardization或Normalization)处理。下面,我将介绍这两个操作的作用。

零均值化/中心化

在深度学习中,训练网络时使用的图片,通常会先对它进行零均值化(zero-mean) / 中心化,即让所有训练图片中每个位置的像素均值为0,使得像素值范围变为[-128,127],以0为中心。
零均值化:是指变量减去它的均值
优点:在反向传播中加快网络中每一层权重参数的收敛;
还可以增加基向量的正交性。

标准化/归一化

不同评价指标往往具有不同的量纲和量纲单位,这样将无法对结果进行分析,难以对结果进行衡量,为了消除指标之间的量纲影响,需要对数据进行标准化处理,以解决数据指标之间的可比性。
标准化:是指变量减去它的均值,再除以标准差
优点:归一化后加快了梯度下降求最优解的速度;
归一化有可能提高精度。

### Zero-Mean 归一化 Zero-mean归一化是一种常用的数据预处理技术,其目的是使数据集中的特征具有均值单位方差。具体来说,在应用此方法时,对于每一个特征: 1. 计算该特征在整个训练集中所有样本上的平均值μ; 2. 对于每个样本的该特征减去上述计算得到的平均值μ; 3. 将上一步的结果除以该特征的标准差σ。 通过这种方式转换后的数据将呈现出标准正态分布特性[^3]。 ```python import numpy as np def zero_mean_normalization(data): mean = np.mean(data, axis=0) std_deviation = np.std(data, axis=0) normalized_data = (data - mean) / std_deviation return normalized_data ``` ### Quasi-Normalization 方法 Quasi-normalization 并不是一个严格定义的技术术语,但在某些上下文中可能指代一种近似标准化的方法。通常情况下,这可能是为了适应特定算法需求而设计的一种简化版或变体形式的归一化方式。例如,在一些场景下可能会采用线性缩放使得最小值映射到0最大值映射到1;而在其他场合则会保留原始尺度但调整中心位置使其接近均值等策略来实现“准”归一化效果。 需要注意的是,“quasi-normalization”的确切含义取决于具体的文献资料或研究领域内的约定俗成说法,并不存在统一标准定义。 ### 应用场景对比 - **Zero-Mean Normalization**: 当机器学习模型对输入变量之间的量级差异敏感时(如支持向量机SVM),或者当希望消除不同维度间由于测量单位造成的不公平比较影响时,可以考虑使用zero-mean归一化。此外,在神经网络训练过程中也经常运用这种方法以加速收敛过程并提高泛化能力。 - **Quasi-Normalization**: 如果目标仅仅是让各个属性处于相似的数量级范围内而不必精确遵循统计学意义上的正态分布,则可以选择更加灵活简便的方式来进行quasi-normalization操作。这类做法特别适用于那些不依赖于概率密度函数假设的学习器,比如决策树、随机森林等基于规则归纳构建分类边界的模型。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值