数据预处理归一化Z-score归一化Min-Max归一化程序

在训练神经网络模型的时候,对数据进行预处理是必不可少的操作,而对数据进行归一化是预处理最常用的操作。

最常用的归一化方法有两种,Min-Max归一化和Z-score归一化。

Min-Max归一化

原理网上很多,直接上程序:

# Min-Max Normalization

import numpy as np

data = np.load('your_data.npy')
shape = data.shape
print(shape)
print(data)
data = data.reshape(-1)
x_max = np.max(data)
x_min = np.min(data)
print(x_max, x_min)

result = data
for i in range(len(result)):
    result[i] = (data[i] - x_min)/(x_max - x_min)

print(result.shape)
result = result.reshape(shape)
print(result)
np.save('result.npy', result)

Z-score归一化

原理网上很多,直接上程序:

# Z-score Normalization

import numpy as np
from sklearn import preprocessing

data = np.load('your_data.npy')
shape = data.shape
print(shape)
data = data.reshape(-1)
print(data)
result = preprocessing.scale(data).reshape(shape)
print(result)
np.save('result.npy', result)

 

  • 2
    点赞
  • 18
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
数据预处理中的归一化是指将数据缩放到一个预定的范围内,通常是[0, 1]或[-1, 1]之间,以消除数据间的量纲差异,提高模型的训练效率。归一化的原理主要包括以下几个步骤: 1. 最小-最大归一化Min-Max Scaling):将数据映射到指定范围内。首先找到数据集中的最小值(min)和最大值(max),然后使用以下公式数据归一化到[0, 1]之间: X_normalized = (X - X_min) / (X_max - X_min) 其中,X为原始数据,X_normalized为归一化后的数据。这种方法适用于数据分布没有明显边界的情况。 2. Z-Score归一化(Standardization):将数据转化为均值为0,标准差为1的正态分布。通过以下公式计算: X_standardized = (X - X_mean) / X_std 其中,X_mean为数据的均值,X_std为数据的标准差。这种方法适用于数据分布有明显边界的情况。 3. 小数定标标准化(Decimal Scaling):将数据除以一个固定的基数,使得数据的绝对值都小于1或约等于1。例如,将数据除以10的幂次方,使得数据处于[-1, 1]之间。 归一化的目的是消除数据量纲和大小的差异,使得数据在同一个数量级下进行比较,加快模型的收敛速度。通过归一化,可以去除数据中的夸大特征,使得所有特征的尺度同等重要,从而提高模型的性能。 参考资料: Python数据预处理数据规范化.https://www.jianshu.com/p/406e81b2f978 数据预处理中的归一化、标准化和规范化.https://blog.csdn.net/you_are_my_dream/article/details/79978528 数据预处理归一化(Normalization).https://www.cnblogs.com/chaosimple/p/4153167.html
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值